崗位職責(zé):
1、負責(zé)處理和清洗大規(guī)模、多來源的數(shù)據(jù)集,保證數(shù)據(jù)的完整性和可靠性,消除數(shù)據(jù)中的偏見、冗余、毒性內(nèi)容
2、提升清洗數(shù)據(jù)和生成數(shù)據(jù)的質(zhì)量,通過多樣算法和模型提升和優(yōu)化數(shù)據(jù)質(zhì)量
3、設(shè)計、構(gòu)建和維護大模型相關(guān)的大數(shù)據(jù)處理系統(tǒng)和數(shù)據(jù)管道
4、負責(zé)數(shù)據(jù)處理中涉及到的NLP模型的設(shè)計與優(yōu)化,提升數(shù)據(jù)處理的效率和準(zhǔn)確性
5、大模型相關(guān)的數(shù)據(jù)質(zhì)量把控,包括但不限于數(shù)據(jù)一致性檢查、數(shù)據(jù)完整性驗證等
6、對大規(guī)模數(shù)據(jù)集進行處理和分析,確保數(shù)據(jù)的準(zhǔn)確性和可靠性
7、理解數(shù)據(jù)需求,與業(yè)務(wù)緊密配合,開發(fā)建立自動化數(shù)據(jù)質(zhì)量評估流程及系統(tǒng)
8、及時發(fā)現(xiàn)和定位數(shù)據(jù)問題,跟蹤問題的解決進度,確保數(shù)據(jù)問題得到有效解決
9、編寫詳實的數(shù)據(jù)評估報告,提供訓(xùn)練數(shù)據(jù)分析和改進建議,為團隊提供有效的反饋支持
10、開展數(shù)據(jù)治理,持續(xù)提升數(shù)據(jù)質(zhì)量,挖掘數(shù)據(jù)價值
任職要求:
專業(yè):計算機、人工智能、軟件工程、數(shù)學(xué)等相關(guān)專業(yè)
素質(zhì):溝通能力強,表達清晰,有責(zé)任心
經(jīng)驗:NLP、機器學(xué)習(xí)或大模型相關(guān)背景和經(jīng)歷