崗位職責
1、負責設計、開發(fā)和維護高效、穩(wěn)定的爬蟲系統(tǒng),提升數(shù)據(jù)采集的效率和質(zhì)量;
2、負責多平臺信息抽取、數(shù)據(jù)清洗、入庫、服務化等研發(fā)和優(yōu)化工作;
3、解決實際開發(fā)過程中碰到的各類產(chǎn)品數(shù)據(jù)需求和接口問題。
任職要求
1、統(tǒng)招本科及以上學歷,熟練使用Python或其他相關語言進行爬蟲開發(fā),擁有扎實的編碼和調(diào)試能力,并能夠編寫高質(zhì)量的可維護代碼;
2、熟悉各種爬蟲框架和工具,如Scrapy、BeautifulSoup、Selenium等,能夠根據(jù)需求靈活使用,同時熟悉反爬蟲機制的解決方案;
3、具備大規(guī)模分布式爬蟲系統(tǒng)設計和開發(fā)經(jīng)驗,能夠解決分布式爬蟲中的挑戰(zhàn)和問題,如任務調(diào)度、數(shù)據(jù)同步和去重等;
4、深入理解網(wǎng)絡協(xié)議和網(wǎng)頁結構,能夠處理復雜的頁面結構和動態(tài)內(nèi)容;
5、熟悉數(shù)據(jù)庫的使用,能夠設計和優(yōu)化數(shù)據(jù)存儲和查詢方案,具備數(shù)據(jù)清洗和處理的能力。
6、有開源大模型部署及微調(diào)經(jīng)驗優(yōu)先
人力資源服務許可認證
人力資源服務許可證是由國家人力資源與社會保障相關部門頒發(fā),代表人才經(jīng)紀人所在企業(yè)可以合法開展人力資源相關業(yè)務的資質(zhì)證件。展示該標簽代表該企業(yè)發(fā)布此職位時已上傳《人力資源服務許可證》或《人力資源服務備案證書》并經(jīng)由平臺審驗通過。
北京 - 昌平
北京 - 海淀
北京 - 海淀
北京 - 朝陽
北京 - 海淀
北京 - 海淀