兼職崗位,按量發(fā)放工資,介意勿投?。?!
崗位職責(zé):
1、負(fù)責(zé)分布式網(wǎng)絡(luò)爬蟲系統(tǒng)設(shè)計(jì),搭建系統(tǒng)框架,開發(fā)分布式網(wǎng)絡(luò)爬蟲系統(tǒng);
2、負(fù)責(zé)數(shù)據(jù)的抓取、提取、數(shù)據(jù)分析等工作,滿足業(yè)務(wù)部門對數(shù)據(jù)的需求。
3、設(shè)計(jì)和優(yōu)化數(shù)據(jù)抓取策略,能夠應(yīng)對各種反爬策略,提高數(shù)據(jù)抓取的效率和質(zhì)量。
任職要求:
1、計(jì)算機(jī)相關(guān)專業(yè),有2年以上爬蟲開發(fā)經(jīng)驗(yàn)。
2、精通Python語言,至少熟練掌握主流爬蟲框架中的一種;
3、熟悉常見反爬機(jī)制,驗(yàn)證碼識別,IP代理池、應(yīng)用Ip池、headers認(rèn)證和cookie等;
4、有處理大規(guī)模數(shù)據(jù)的經(jīng)驗(yàn),對分布式爬蟲有實(shí)際操作經(jīng)驗(yàn)者優(yōu)先。