主要工作職責(zé) Major responsibilities
1、數(shù)據(jù)采集與整合:根據(jù)業(yè)務(wù)需求,制定數(shù)據(jù)采集方案,從多種數(shù)據(jù)源(如能源生產(chǎn)設(shè)備、業(yè)務(wù)系統(tǒng)、第三方數(shù)據(jù)接口等)采集數(shù)據(jù),并進行清洗、轉(zhuǎn)換和整合,確保數(shù)據(jù)的準(zhǔn)確性和一致性。
2、數(shù)據(jù)模型開發(fā):參與數(shù)據(jù)模型的設(shè)計與開發(fā),構(gòu)建適合公司業(yè)務(wù)場景的數(shù)據(jù)分析模型,如多維數(shù)據(jù)模型、實時數(shù)據(jù)模型等,為數(shù)據(jù)分析和挖掘提供基礎(chǔ)。
3、數(shù)據(jù)處理與算法實現(xiàn):運用大數(shù)據(jù)技術(shù)和工具(如Hadoop、Spark等),開發(fā)高效的數(shù)據(jù)處理程序和算法,實現(xiàn)數(shù)據(jù)的批量處理和實時分析,滿足業(yè)務(wù)對數(shù)據(jù)處理速度和精度的要求。
任職要求 Qualifications
1、教育背景: 計算機科學(xué)、數(shù)據(jù)科學(xué)、統(tǒng)計學(xué)等相關(guān)專業(yè)本科及以上學(xué)歷;
2、從業(yè)經(jīng)驗: 5年及以上相關(guān)工作從業(yè)經(jīng)驗,具有數(shù)據(jù)產(chǎn)品化項目、或者大數(shù)據(jù)平臺架構(gòu)升級項目經(jīng)驗,主導(dǎo) ETL 流程的設(shè)計和開發(fā)工作,使用工具構(gòu)建復(fù)雜的 ETL 作業(yè)。從多個數(shù)據(jù)源(包括 Oracle 數(shù)據(jù)庫、Excel 文件等)抽取數(shù)據(jù),實現(xiàn)大數(shù)據(jù)的高效抽取和處理,設(shè)計并實現(xiàn)了數(shù)據(jù)轉(zhuǎn)換邏輯,與數(shù)據(jù)倉庫團隊緊密合作,完成了數(shù)據(jù)的加載和數(shù)據(jù)倉庫的優(yōu)化工作。具有java、python但不限于開發(fā)語言的接口開發(fā)經(jīng)驗(數(shù)據(jù)抽取、數(shù)據(jù)推送、三方業(yè)務(wù)接口等)。
3、技能技巧:
1) 編程語言:熟練掌握至少一種編程語言(如Java、Python等),具備良好的編程習(xí)慣和代碼質(zhì)量意識;精通大數(shù)據(jù)技術(shù)棧,包括Hadoop、Hive、Spark、Kafka等,有實際項目開發(fā)經(jīng)驗。
2) 數(shù)據(jù)庫知識:深入理解數(shù)據(jù)庫原理,熟練掌握SQL語言,能夠進行復(fù)雜的數(shù)據(jù)庫查詢和優(yōu)化;熟悉至少一種關(guān)系型數(shù)據(jù)庫(如MySQL、Oracle)和非關(guān)系型數(shù)據(jù)庫(如MongoDB、Redis)的使用和原理。
3) 前端開發(fā)技術(shù):了解前端開發(fā)技術(shù),如 HTML、CSS、JavaScript 等,能夠?qū)蟊磉M行定制化開發(fā),實現(xiàn)交互性和動態(tài)性的報表效果。
4) 數(shù)據(jù)接口開發(fā):掌握數(shù)據(jù)接口開發(fā)技術(shù),如 RESTful API、WebService 等,能夠與其他系統(tǒng)進行數(shù)據(jù)交互,實現(xiàn)數(shù)據(jù)的實時更新和共享。
5) 數(shù)據(jù)處理與算法能力:具備扎實的數(shù)據(jù)處理和算法基礎(chǔ),能夠獨立設(shè)計和實現(xiàn)數(shù)據(jù)處理流程和算法;有機器學(xué)習(xí)、深度學(xué)習(xí)算法實踐經(jīng)驗者優(yōu)先。
4、個人能力:
1) 問題解決能力:具備較強的問題分析和解決能力,能夠快速定位和解決數(shù)據(jù)開發(fā)過程中的技術(shù)難題;能夠在復(fù)雜的技術(shù)環(huán)境中進行故障排查和性能優(yōu)化。
溝通協(xié)作能力:良好的團隊協(xié)作精神和溝通能力,能夠與不同部門的人員進行有效的溝通和協(xié)作;具備較強的學(xué)習(xí)能力和自我驅(qū)動力,能夠快速掌握新技術(shù)和新知識。
上海 - 浦東
上海藍(lán)載信息科技有限公司上海 - 徐匯
上海 - 楊浦
上海 - 長寧
上海 - 靜安
上海 - 閔行