大數(shù)據(jù)系統(tǒng)架構師中電科大數(shù)據(jù)研究院有限公司中電科大數(shù)據(jù)研究院有限公司,中電科大數(shù)據(jù)研究院,中電科大職責描述:

1、負責大數(shù)據(jù)系統(tǒng)的規(guī)劃和架構設計工作,主導系統(tǒng)的架構設計與核心模塊開發(fā);

2、負責研究技術發(fā)展方向,探索新技術領域,將新技術應用到項目;

3、負責技術規(guī)范制定,指導開發(fā)團隊進行實施工作;

4、支持技術團隊的建設與能力培養(yǎng)。

任職要求:

1、計算機相關專業(yè),碩士及以上學歷,5年以上相關工作經(jīng)驗;

2、熟悉大數(shù)據(jù)相關技術,如Spark、Hadoop、Hive、HBase、Pig、Sqoop、MapReduce等,有豐富的大數(shù)據(jù)系統(tǒng)架構設計經(jīng)驗;深刻理解大數(shù)據(jù)系統(tǒng)相關技術和實現(xiàn);

3、熟悉主流的應用與服務開源框架,如JavaEE相關開源框架,有應用與服務的架構設計經(jīng)驗,熟悉設計模式,面向服務等思想并應用到架構設計當中;

4、了解數(shù)據(jù)挖掘算法與自然語言處理者優(yōu)先;

5、熟悉項目管理理論,敏捷開發(fā)實踐方法,有領導技術團隊能力者優(yōu)先;

6、邏輯思維能力嚴密,分析判斷能力強,具備一定的獨立溝通、協(xié)調(diào)能力。

篇2:數(shù)據(jù)架構師崗位工作職責

1、深入理解MDM主數(shù)據(jù)管理思想和流程;

2、理解業(yè)務數(shù)據(jù)、主數(shù)據(jù)與元數(shù)據(jù)的區(qū)別與關系;

3、參與過數(shù)據(jù)模型的設計與開發(fā);

4、深入理解數(shù)據(jù)清洗,標準化,轉換,匹配,數(shù)據(jù)質量、安全管理的原理和業(yè)務流程;

5、參與過數(shù)據(jù)ETL開發(fā)與設計;

6、熟練運用主流DBMS,nosql數(shù)據(jù)庫。

篇3:大數(shù)據(jù)系統(tǒng)架構師崗位職責大數(shù)據(jù)系統(tǒng)架構師職責任職要求

大數(shù)據(jù)系統(tǒng)架構師崗位職責

職責描述:

1.負責客戶業(yè)務需求、數(shù)據(jù)分析需求的調(diào)研、收集與分析;

2.負責Kyligence大數(shù)據(jù)平臺整體架構和數(shù)據(jù)架構設計,根據(jù)具體業(yè)務需求和產(chǎn)品對數(shù)據(jù)模型進行統(tǒng)一分析和規(guī)劃;

3.負責技術設計及技術實現(xiàn)規(guī)范編制,指導開發(fā)團隊進行項目設計、項目實現(xiàn)及技術匯報;

4.負責項目重難點模塊的功能設計和難點攻堅;

5.參與大數(shù)據(jù)平臺的應用設計、開發(fā)、測試及優(yōu)化工作。

任職要求:

1.計算機相關專業(yè),本科及以上學歷;

2.有5年以上工作經(jīng)驗,3年以上數(shù)據(jù)倉庫架構和大數(shù)據(jù)系統(tǒng)設計經(jīng)驗;

3.精通Hadoop、Hive、HBase原理及優(yōu)化,熟悉大數(shù)據(jù)生態(tài)技術圈,如Storm、Spark、Flume、Sqoop、Kafka、Zookeeper、ES等,有大規(guī)模集群架構設計、開發(fā)及管理經(jīng)驗;

4.熟練使用SQL語言,掌握Oracle、DB2、GP、MySQL等至少兩種數(shù)據(jù)庫系統(tǒng)的使用,有較好的SQL性能調(diào)優(yōu)經(jīng)驗;

5.至少熟悉Java,Scala,Python,Shell等編程語言中的2種;

6.熟悉數(shù)據(jù)治理及應用,元數(shù)據(jù)管理的設計與應用;

7.熟悉數(shù)據(jù)倉庫模型的設計,分層設計原理,并結合大數(shù)據(jù)技術組建解決模型應用的問題;

8.優(yōu)秀的分析和解決問題的能力,對挑戰(zhàn)性問題充滿激情;

9.具備良好的文檔撰寫能力和技術團隊管理能力;

10.具備良好的團隊合作精神,較強的溝通能力,具備良好的技術領導能力;

11.有Hive數(shù)據(jù)倉庫或者ApacheKylin的開發(fā)經(jīng)驗者優(yōu)先考慮;