崗位職責(zé):
1、 對(duì)現(xiàn)有爬蟲平臺(tái)進(jìn)行優(yōu)化維護(hù),不斷總結(jié)新的優(yōu)化思路和方案;
2、 根據(jù)業(yè)務(wù)需求編寫分布式爬蟲代碼,對(duì)海量的目標(biāo)網(wǎng)站編寫規(guī)則進(jìn)行抓取,處理常見的反爬問題;
3、 對(duì)抓取過來的數(shù)據(jù)進(jìn)行初步的格式化與清洗工作;
4、 掌握一定的機(jī)器學(xué)習(xí)技術(shù)和AI技術(shù),對(duì)現(xiàn)有系統(tǒng)進(jìn)行智能化改造能思路并提出建設(shè)性意見;
5、 維護(hù)爬蟲服務(wù)器,保證其穩(wěn)定運(yùn)行;
6、 對(duì)已爬取的數(shù)據(jù)定期進(jìn)行巡檢工作,保證各渠道爬取穩(wěn)定。
任職資格:
1、 有三年以上Python開發(fā)工作經(jīng)驗(yàn),善于溝通,工作積極,態(tài)度認(rèn)真,有主動(dòng)學(xué)習(xí)精神;
2、 熟悉常用的開發(fā)框架,如Spring、MyBatis等;
3、 熟練掌握Python語言,能夠基于Python獨(dú)立完成功能設(shè)計(jì)以及編碼工作;
4、 熟悉HTTP協(xié)議,掌握html/css/js/jquery/ajax等相關(guān)知識(shí);
5、 熟悉js加密,了解Python常見執(zhí)行js方法,如pyV8;
6、 掌握常用數(shù)據(jù)庫(如:MySQL,Mongodb)及相應(yīng)DDL/DML,熟悉索引及常規(guī)SQL調(diào)優(yōu)。
南京 - 雨花臺(tái)
小西科技(南京)有限責(zé)任公司南京 - 雨花臺(tái)
中電變壓器股份有限公司南京 - 雨花臺(tái)
中電變壓器股份有限公司南京 - 雨花臺(tái)
中電變壓器股份有限公司南京 - 雨花臺(tái)
中電變壓器股份有限公司南京 - 江寧
江蘇兔醬網(wǎng)絡(luò)科技有限公司