崗位職責(zé)：
1.根據(jù)業(yè)務(wù)需求開(kāi)展數(shù)據(jù)清洗、預(yù)處理和特征工程等工作。
2.負(fù)責(zé)大數(shù)據(jù)架構(gòu)的規(guī)劃設(shè)計(jì)，參與業(yè)務(wù)建模及數(shù)據(jù)化運(yùn)營(yíng)平臺(tái)的搭建、運(yùn)維，對(duì)業(yè)務(wù)流程與大數(shù)據(jù)的結(jié)合提出建議和解決方案。
3.進(jìn)行數(shù)據(jù)探索和可視化分析，挖掘數(shù)據(jù)中的模式、規(guī)則、規(guī)律、趨勢(shì)等。
4.從文獻(xiàn)資料或數(shù)據(jù)庫(kù)中提取數(shù)據(jù)規(guī)律，并依照業(yè)務(wù)規(guī)則，設(shè)計(jì)算法生成模擬數(shù)據(jù)。
5.探索和引入新的數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)技術(shù)，提高算法的預(yù)測(cè)準(zhǔn)確性和運(yùn)行效率。
6.完成基于大數(shù)據(jù)平臺(tái)的業(yè)務(wù)項(xiàng)目的開(kāi)發(fā)、實(shí)施和維護(hù)工作。
任職資格
1.碩士及以上學(xué)歷，大數(shù)據(jù)/計(jì)算機(jī)/數(shù)學(xué)/統(tǒng)計(jì)學(xué)等相關(guān)專(zhuān)業(yè)。
2.熟悉大數(shù)據(jù)、數(shù)據(jù)倉(cāng)庫(kù)、湖倉(cāng)一體、分布式架構(gòu)技術(shù)理論，具備大數(shù)據(jù)整體系統(tǒng)架構(gòu)設(shè)計(jì)和實(shí)戰(zhàn)經(jīng)驗(yàn)。
3.熟悉大數(shù)據(jù)組件的開(kāi)發(fā)編譯、搭建、維護(hù)以及性能優(yōu)化。
5.精通Hadoop生態(tài)，在Hive、Hudi、Kudu、Flink、Spark、Presto等大數(shù)據(jù)技術(shù)方面有相關(guān)應(yīng)用經(jīng)驗(yàn)，能閱讀源碼跟蹤問(wèn)題。
6.精通使用相關(guān)開(kāi)發(fā)語(yǔ)言(Java/Python/Scala/Shell等)之一。
7.精通掌握Spark、flink任意一種計(jì)算框架，掌握MapReduce計(jì)算框架原理，并有實(shí)際項(xiàng)目開(kāi)發(fā)經(jīng)驗(yàn)。
8.精通大數(shù)據(jù)安全組件kerberos、ranger組件搭建及維護(hù)、開(kāi)發(fā)。
9.精通數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)和統(tǒng)計(jì)學(xué)等相關(guān)理論，熟悉常用的數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)工具和框架，如pandas，numpy，matplotlib, scikit-learn等。
10.具有良好的團(tuán)隊(duì)合作和溝通能力，能夠與團(tuán)隊(duì)成員和其他部門(mén)合作推進(jìn)項(xiàng)目。