更新于 3月17日

爬蟲工程師

1.5-2.2萬
  • 北京朝陽區(qū)
  • 3-5年
  • 本科
  • 全職
  • 招1人

雇員點(diǎn)評標(biāo)簽

  • 工作環(huán)境好
  • 同事很nice
  • 團(tuán)隊執(zhí)行強(qiáng)
  • 氛圍活躍
  • 人際關(guān)系好
  • 實力大公司
  • 管理人性化
  • 福利好

職位描述

PythonHTMLCSSJavaScriptXPathAJAXMySQLMongoDBRedislinux

崗位職責(zé):

1、負(fù)責(zé)設(shè)計、開發(fā)和維護(hù)分布式爬蟲系統(tǒng),提升爬蟲效率并提高爬蟲穩(wěn)定性;2、維護(hù)并對現(xiàn)有爬蟲程序進(jìn)行性能調(diào)優(yōu),提升爬蟲效率;

3、根據(jù)業(yè)務(wù)需求,抓取多平臺網(wǎng)頁、小程序等數(shù)據(jù),并進(jìn)行簡單的數(shù)據(jù)處理及存儲;

4、設(shè)計爬蟲策略和防屏蔽規(guī)則,解決反爬問題,提升數(shù)據(jù)抓取效率和質(zhì)量;

5、對抓取的數(shù)據(jù)進(jìn)行深度提取和挖掘,為業(yè)務(wù)提供數(shù)據(jù)支持;

6、參與數(shù)據(jù)層建設(shè),解決技術(shù)疑難問題,如復(fù)雜驗證碼破解、動態(tài)網(wǎng)頁抓取等。


崗位要求:

教育水平:本科及以上;專業(yè):計算機(jī)相關(guān);從事相關(guān)行業(yè)3年以上經(jīng)驗者優(yōu)先。

專業(yè)能力要求:

1、精通Python語言,熟悉HTML、CSS、JavaScript、XPath、Ajax、正則表達(dá)式等技術(shù);

2、熟悉網(wǎng)頁、小程序、APP抓取原理及技術(shù),熟悉常用的爬蟲網(wǎng)絡(luò)框架及組件;

3、熟悉MySQL、MongoDB、Redis等數(shù)據(jù)庫,有數(shù)據(jù)清洗、存儲經(jīng)驗;

4、熟悉反爬機(jī)制,能夠解決賬號限制、IP限制、驗證碼等問題;

5、熟悉分布式爬蟲架構(gòu),具有搭建分布式爬蟲系統(tǒng)的能力;

6、具備JavaScript逆向能力,驗證碼破解能力;

7、熟悉Linux系統(tǒng),有數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、自然語言處理(NLP)技術(shù)背景者優(yōu)先;

8、具有帆軟平臺數(shù)據(jù)爬取經(jīng)驗優(yōu)先;

9、了解SM2、SM4等國密算法優(yōu)先;

10、具備良好的團(tuán)隊合作精神、溝通能力和問題解決能力。

工作地點(diǎn)

安華發(fā)展大廈

職位發(fā)布者

張靜雯/招聘主管

今日活躍
立即溝通
公司Logo金風(fēng)科技股份有限公司公司標(biāo)簽
新疆金風(fēng)科技股份有限公司成立于1998年,是中國風(fēng)電事業(yè)蓬勃發(fā)展的親歷者和推動者,致力于成為全球清潔能源和節(jié)能環(huán)保解決方案的行業(yè)領(lǐng)跑者。作為在深交所、港交所兩地上市的公司,金風(fēng)科技多次入選“氣候領(lǐng)袖企業(yè)”、“亞洲地區(qū)最受尊敬公司”、“最佳投資者關(guān)系公司”,并榮登“全球最具創(chuàng)新能力企業(yè)50強(qiáng)”、“全球最環(huán)保企業(yè)200強(qiáng)榜單”、“全球新能源企業(yè)500強(qiáng)榜單”、“新財富最佳上市公司榜單”、“《財富》中國500強(qiáng)”等多個影響力榜單。2019年,憑借其在質(zhì)量、經(jīng)濟(jì)、社會效益等方面的顯著成績,金風(fēng)科技榮獲質(zhì)量領(lǐng)域全國性最高榮譽(yù)“全國質(zhì)量獎”,成為風(fēng)電行業(yè)首家榮獲該獎項的企業(yè)。自成立至今,金風(fēng)科技已實現(xiàn)全球風(fēng)電裝機(jī)容量超過60GW,35,000臺風(fēng)電機(jī)組(直驅(qū)機(jī)組超過31,000臺)在全球6大洲、27個國家穩(wěn)定運(yùn)行。金風(fēng)科技全球員工近9,000人,其中研發(fā)和技術(shù)人員近3,000名。公司具備國際市場深度開發(fā)能力,已在北美、南美、歐洲、非洲、澳洲、亞洲、中東北非、中亞俄語區(qū)設(shè)立8大海外區(qū)域中心,全面實現(xiàn)資本、市場、技術(shù)、人才、管理的國際化。公司深度聚焦風(fēng)電、能源互聯(lián)網(wǎng)、水務(wù)環(huán)保三大領(lǐng)域,并逐步培育智慧園區(qū)、智慧農(nóng)業(yè)、智慧運(yùn)動健康等領(lǐng)域的創(chuàng)新業(yè)務(wù)。公司已在全球布局 7大研發(fā)中心,并與多所全球頂級院校深度合作,以強(qiáng)大科研實力和持續(xù)創(chuàng)新驅(qū)動發(fā)展。目前,公司累計擁有全球?qū)@夹g(shù)申請4,500余項、全球授權(quán)專利2,700余項、軟件著作權(quán)700余件,承擔(dān)國家重點(diǎn)科研項目46項。面對全球產(chǎn)業(yè)變革,金風(fēng)科技加快數(shù)字化進(jìn)程,打造跨行業(yè)智慧解決方案,以數(shù)字化能力鞏固行業(yè)優(yōu)勢,支持國際化進(jìn)程以及業(yè)務(wù)多元化發(fā)展。金風(fēng)科技長期致力于推動全球能源轉(zhuǎn)型,發(fā)展人人可負(fù)擔(dān)、可靠、可持續(xù)的未來能源。今天,金風(fēng)科技在全球的風(fēng)電機(jī)組每年幫助人類社會節(jié)約3,742萬噸標(biāo)準(zhǔn)煤,減少12,283萬噸二氧化碳排放,再造森林6,712萬立方米。成立22年來,金風(fēng)科技始終不忘初心,持續(xù)踐行“為人類奉獻(xiàn)碧水藍(lán)天,給未來留下更多資源”的企業(yè)使命。
公司主頁