崗位內(nèi)容:
1. 設(shè)計(jì)和開發(fā)符合業(yè)務(wù)需求的爬蟲系統(tǒng)，實(shí)現(xiàn)數(shù)據(jù)采集；
2. 優(yōu)化爬蟲程序，提升數(shù)據(jù)采集效率和準(zhǔn)確性，保證數(shù)據(jù)的完整性和正確性；
任職要求：
1、有進(jìn)行爬蟲或網(wǎng)頁(yè)自動(dòng)化任務(wù)的經(jīng)驗(yàn)，熟練掌握 Python 或其他主流編程語(yǔ)言；
2、熟悉JavaScript、HTML以及瀏覽器開發(fā)工具，用于定位和提取動(dòng)態(tài)元素；
3、熟悉爬蟲最佳實(shí)踐，包括IP輪換、代理管理及規(guī)避反爬蟲檢測(cè)；
4、能處理動(dòng)態(tài)內(nèi)容、AJAX等前端技術(shù)對(duì)數(shù)據(jù)抓取的影響；
5、熟練掌握常見爬蟲工具及數(shù)據(jù)處理庫(kù)；
6、具備網(wǎng)絡(luò)基礎(chǔ)知識(shí)或有管理、操作網(wǎng)絡(luò)設(shè)備的經(jīng)驗(yàn)者優(yōu)先；
7、了解登錄流程、會(huì)話管理，以及使用localStorage或Cookie進(jìn)行數(shù)據(jù)管理；
8、注重細(xì)節(jié)，確保數(shù)據(jù)的準(zhǔn)確性和穩(wěn)定性；
優(yōu)先條件：
1、有路由器配置界面或網(wǎng)絡(luò)管理工具的相關(guān)經(jīng)驗(yàn)；
2、熟悉API及通過RESTful接口提取數(shù)據(jù)（如路由器支持此類接口）；
3、具備較強(qiáng)的排查及解決Selenium腳本問題的能力；