職位描述
1、熟悉Scrapy,有豐富的爬蟲及反爬蟲相關(guān)經(jīng)驗(yàn)
2、負(fù)責(zé)復(fù)雜驗(yàn)證碼的破解技術(shù)調(diào)研和實(shí)現(xiàn),負(fù)責(zé)爬蟲技術(shù)的調(diào)研和破解
3、研究反爬機(jī)制,處理抓包,下載等環(huán)節(jié)的疑難問題
4、負(fù)責(zé)數(shù)據(jù)下載、抽取、清洗、分類、聚類等工作
5、負(fù)責(zé)爬蟲核心算法的優(yōu)化、充分利用資源
職位要求
1、3年爬蟲經(jīng)驗(yàn)以上
2、大規(guī)模網(wǎng)絡(luò)內(nèi)容采集系統(tǒng)項(xiàng)目經(jīng)驗(yàn)
3、對網(wǎng)頁數(shù)據(jù)抓取、信息提取、去重、清洗有豐富經(jīng)驗(yàn)
4、精通爬蟲相關(guān)語言,python或nodej等
5、對分布式領(lǐng)域有一定了解,具有開發(fā)、調(diào)試或維護(hù)的相關(guān)經(jīng)驗(yàn)優(yōu)先