職位描述：

職責(zé)描述：

1、負(fù)責(zé)公司大數(shù)據(jù)平臺(tái)系統(tǒng)架構(gòu)設(shè)計(jì)、核心開(kāi)發(fā)工作（Hadoop生態(tài)圈），基于業(yè)務(wù)場(chǎng)景設(shè)計(jì)最優(yōu)的系統(tǒng)解決方案。

2、構(gòu)架大數(shù)據(jù)開(kāi)發(fā)平臺(tái)，包括數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)計(jì)算、數(shù)據(jù)管理的平臺(tái)系統(tǒng)及相關(guān)監(jiān)控，推進(jìn)平臺(tái)的架構(gòu)設(shè)計(jì)和實(shí)現(xiàn)。

3、利用Hadoop、Spark、Flink等大數(shù)據(jù)技術(shù)對(duì)海量數(shù)據(jù)進(jìn)行處理，支持建模（算法）的工程化實(shí)現(xiàn)，實(shí)現(xiàn)可視化BI分析。

4、對(duì)現(xiàn)有系統(tǒng)的進(jìn)行架構(gòu)深入分析及系統(tǒng)優(yōu)化，進(jìn)一步提升系統(tǒng)的性能及數(shù)據(jù)處理能力。

5、了解機(jī)器學(xué)習(xí)等技術(shù)進(jìn)行數(shù)據(jù)分析及建模的方案的系統(tǒng)化設(shè)計(jì)，跟進(jìn)數(shù)據(jù)挖掘項(xiàng)目的架構(gòu)設(shè)計(jì)工作。

6、解決部門(mén)遇到的技術(shù)難題，能夠進(jìn)行技術(shù)和培訓(xùn)。

任職要求：

1、統(tǒng)招本科或以上學(xué)歷，計(jì)算機(jī)相關(guān)專(zhuān)業(yè)，2年以上大數(shù)據(jù)項(xiàng)目經(jīng)驗(yàn)、3年以上架構(gòu)經(jīng)驗(yàn)。

2、熟練使用CDH、HDP、FI等Hadoop生態(tài)系統(tǒng)發(fā)行版套件，進(jìn)行平臺(tái)服務(wù)的安裝、部署和維護(hù)。

3、具備較豐富的基于Hadoop生態(tài)圈的大數(shù)據(jù)處理項(xiàng)目經(jīng)驗(yàn)，熟悉數(shù)倉(cāng)建設(shè)、數(shù)據(jù)中臺(tái)建設(shè)

4、熟悉Hadoop、Hive、Hbase、kafka、Spark、Flink、ES、Flume、Sqoop、Ozzie、Tez、Hue、Azkanban、DataX等大數(shù)據(jù)組件的使用和調(diào)優(yōu)，了解數(shù)據(jù)分析和數(shù)據(jù)挖掘。

5、深刻理解大數(shù)據(jù)平臺(tái)安全機(jī)制Kerberos、Ranger以及血緣分析套件Atlas。

6、熟悉大數(shù)據(jù)應(yīng)用開(kāi)發(fā)平臺(tái)的架構(gòu)和設(shè)計(jì)，對(duì)數(shù)據(jù)采集、數(shù)據(jù)清洗、數(shù)據(jù)治理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)血緣分析、數(shù)據(jù)存儲(chǔ)、作業(yè)調(diào)度、數(shù)據(jù)安全、數(shù)據(jù)分析有豐富的經(jīng)驗(yàn)。

7、優(yōu)秀的團(tuán)隊(duì)合作精神、誠(chéng)實(shí)、勤奮、嚴(yán)謹(jǐn)，敢于接受挑戰(zhàn)。

8、機(jī)器學(xué)習(xí)技術(shù)、數(shù)據(jù)挖掘經(jīng)驗(yàn)豐富者優(yōu)先考慮。

篇2:大數(shù)據(jù)系統(tǒng)架構(gòu)師崗位職責(zé)大數(shù)據(jù)系統(tǒng)架構(gòu)師職責(zé)任職要求

大數(shù)據(jù)系統(tǒng)架構(gòu)師崗位職責(zé)

職責(zé)描述:

1.負(fù)責(zé)客戶業(yè)務(wù)需求、數(shù)據(jù)分析需求的調(diào)研、收集與分析;

2.負(fù)責(zé)Kyligence大數(shù)據(jù)平臺(tái)整體架構(gòu)和數(shù)據(jù)架構(gòu)設(shè)計(jì),根據(jù)具體業(yè)務(wù)需求和產(chǎn)品對(duì)數(shù)據(jù)模型進(jìn)行統(tǒng)一分析和規(guī)劃;

3.負(fù)責(zé)技術(shù)設(shè)計(jì)及技術(shù)實(shí)現(xiàn)規(guī)范編制,指導(dǎo)開(kāi)發(fā)團(tuán)隊(duì)進(jìn)行項(xiàng)目設(shè)計(jì)、項(xiàng)目實(shí)現(xiàn)及技術(shù)匯報(bào);

4.負(fù)責(zé)項(xiàng)目重難點(diǎn)模塊的功能設(shè)計(jì)和難點(diǎn)攻堅(jiān);

5.參與大數(shù)據(jù)平臺(tái)的應(yīng)用設(shè)計(jì)、開(kāi)發(fā)、測(cè)試及優(yōu)化工作。

任職要求:

1.計(jì)算機(jī)相關(guān)專(zhuān)業(yè),本科及以上學(xué)歷;

2.有5年以上工作經(jīng)驗(yàn),3年以上數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)和大數(shù)據(jù)系統(tǒng)設(shè)計(jì)經(jīng)驗(yàn);

3.精通Hadoop、Hive、HBase原理及優(yōu)化,熟悉大數(shù)據(jù)生態(tài)技術(shù)圈,如Storm、Spark、Flume、Sqoop、Kafka、Zookeeper、ES等,有大規(guī)模集群架構(gòu)設(shè)計(jì)、開(kāi)發(fā)及管理經(jīng)驗(yàn);

4.熟練使用SQL語(yǔ)言,掌握Oracle、DB2、GP、MySQL等至少兩種數(shù)據(jù)庫(kù)系統(tǒng)的使用,有較好的SQL性能調(diào)優(yōu)經(jīng)驗(yàn);

5.至少熟悉Java,Scala,Python,Shell等編程語(yǔ)言中的2種;

6.熟悉數(shù)據(jù)治理及應(yīng)用,元數(shù)據(jù)管理的設(shè)計(jì)與應(yīng)用;

7.熟悉數(shù)據(jù)倉(cāng)庫(kù)模型的設(shè)計(jì),分層設(shè)計(jì)原理,并結(jié)合大數(shù)據(jù)技術(shù)組建解決模型應(yīng)用的問(wèn)題;

8.優(yōu)秀的分析和解決問(wèn)題的能力,對(duì)挑戰(zhàn)性問(wèn)題充滿激情;

9.具備良好的文檔撰寫(xiě)能力和技術(shù)團(tuán)隊(duì)管理能力;

10.具備良好的團(tuán)隊(duì)合作精神,較強(qiáng)的溝通能力,具備良好的技術(shù)領(lǐng)導(dǎo)能力;

11.有Hive數(shù)據(jù)倉(cāng)庫(kù)或者ApacheKylin的開(kāi)發(fā)經(jīng)驗(yàn)者優(yōu)先考慮;

篇3:大數(shù)據(jù)架構(gòu)師崗位職責(zé)大數(shù)據(jù)架構(gòu)師職責(zé)任職要求

大數(shù)據(jù)架構(gòu)師崗位職責(zé)

工作職責(zé):

負(fù)責(zé)大數(shù)據(jù)開(kāi)發(fā)、數(shù)據(jù)挖掘、算法平臺(tái)的技術(shù)架構(gòu)及建設(shè);

負(fù)責(zé)大數(shù)據(jù)實(shí)時(shí)檢索分析平臺(tái)的架構(gòu)和建設(shè);

負(fù)責(zé)PCG業(yè)務(wù)算法推薦,實(shí)時(shí)流計(jì)算框架的研發(fā)優(yōu)化;

跟蹤移動(dòng)互聯(lián)網(wǎng)開(kāi)源大數(shù)據(jù)框架、新算法框架的技術(shù)選型及平臺(tái)化預(yù)研及架構(gòu);

負(fù)責(zé)業(yè)務(wù)挖掘、算法應(yīng)用的平臺(tái)支持;

負(fù)責(zé)>5人的技術(shù)或FT團(tuán)隊(duì)管理。

任職要求:

5年以上系統(tǒng)建設(shè),設(shè)計(jì),架構(gòu)經(jīng)驗(yàn);4年以上大數(shù)據(jù)系統(tǒng)開(kāi)發(fā),設(shè)計(jì),架構(gòu)經(jīng)驗(yàn);3年以上軟件工程管理經(jīng)驗(yàn);

熟悉商業(yè)智能系統(tǒng),熟悉數(shù)據(jù)倉(cāng)庫(kù),熟悉數(shù)據(jù)集市;

熟悉大數(shù)據(jù)相關(guān)技術(shù):Hadoop,Hive,HBase,ZooKeeper,Spark,Cassandra,MapReduce;并閱讀過(guò)相關(guān)源碼;

管理過(guò)數(shù)據(jù)量上T級(jí)別,節(jié)點(diǎn)數(shù)300以上的大數(shù)據(jù)集群,開(kāi)發(fā),優(yōu)化并管理過(guò)上T級(jí)別的大數(shù)據(jù)作業(yè);

熟悉常用機(jī)器學(xué)習(xí)算法,了解深度學(xué)習(xí),強(qiáng)化學(xué)習(xí),遷移學(xué)習(xí)算法,了解相關(guān)原理(FF,BF,SGD等);

熟悉各種抽樣方法(分層,過(guò)抽樣等),特征處理方法(缺失值處理,離散化等);

熟悉機(jī)器學(xué)習(xí)框架或工具(SparkMLLib,tensorflow,caffe等),了解源碼并能應(yīng)用項(xiàng)目;

具備大數(shù)據(jù)云平臺(tái)、計(jì)算存儲(chǔ)平臺(tái)、可視化開(kāi)發(fā)平臺(tái)經(jīng)驗(yàn),具備中大型成功項(xiàng)目經(jīng)驗(yàn)優(yōu)先;具備大規(guī)模分布式計(jì)算平臺(tái)的使用和并行算法的開(kāi)發(fā)經(jīng)驗(yàn),對(duì)大數(shù)據(jù)處理及應(yīng)用有濃厚興趣;

具備較強(qiáng)的團(tuán)隊(duì)管理能力和溝通能力,思維活躍,前瞻學(xué)習(xí)能力強(qiáng);

了解軟件項(xiàng)目管理、敏捷管理方法論,在中大型項(xiàng)目中有所實(shí)踐。