崗位職責(zé)
1、負(fù)責(zé)公司爬蟲(chóng)核心技術(shù)開(kāi)發(fā),滿足公司對(duì)多源數(shù)據(jù)海量、實(shí)時(shí)、高質(zhì)量采集要求
2、積極主動(dòng)思考探索爬蟲(chóng)在實(shí)際業(yè)務(wù)中的價(jià)值,參與設(shè)計(jì)數(shù)據(jù)有效利用策略,從數(shù)據(jù)合理性、完整性角度提供建議
3、把握網(wǎng)絡(luò)爬蟲(chóng)核心技術(shù)研究方向,研究?jī)?yōu)化方向,提升爬蟲(chóng)系統(tǒng)的穩(wěn)定性、可擴(kuò)展性
4、設(shè)計(jì)爬蟲(chóng)策略和防屏蔽規(guī)則,提升網(wǎng)頁(yè)抓取的效率和質(zhì)量
5、負(fù)責(zé)攻克實(shí)際業(yè)務(wù)中遇到的難題
任職要求
1、統(tǒng)招本科以上學(xué)歷,3年以上爬蟲(chóng)項(xiàng)目經(jīng)驗(yàn)
2、有豐富的web端逆向經(jīng)驗(yàn),對(duì)web端環(huán)境補(bǔ)全,算法還原有一定經(jīng)驗(yàn)
3、熟練使用使用 App 逆向工具frida,ida,apktool,xposed, 還原算法,java 層、so 層調(diào)用等
4、熟悉linux系統(tǒng),熟悉mongodb,nosql(redis/kafka/rabbitmq),elasticsearch
5、充分的耐心以及靈活的頭腦