數據系統架構師崗位職責
數據系統架構師主要職責:
1.負責數據平臺、數據倉庫架構的規劃與設計;
2.負責數據平臺的整體數據架構設計,完成從業務模型到數據模型的設計工作,熟悉業務模型分析及轉換,具備較強的業務理解和業務抽象能力,善于從復雜現象中抽象根本問題,分析根本原因,并形成最合適的快速解決方案;
3.負責根據業務功能、業務模型,進行數據庫建模設計,具備大型企業級數據庫模型設計能力,對能源類系統,元數據系統有非常深刻的認識和理解,能解決能源類系統數據價值應用的關鍵問題。
4.完成各種面向業務目標的數據分析模型的定義和應用開發,
5.負責數據平臺的數據提取、數據挖掘及數據分析,具有良好的商業敏感度和優秀的數據分析技能,能夠解決復雜的算法問題。
6.負責和各個業務系統之間的數據對接,把控客戶各業務部門的數據需求;
7.帶領團隊成員一起完成數據應用工作的流程、規范和方法的建立。
崗位要求:
經驗
1.8年以上IT行業工作經驗,具有豐富的信息系統設計、實施經驗;
2.具有5年以上企業級數據平臺、數據倉庫設計經驗;
3.豐富的數據架構規劃、數據建模、數據庫設計以及程序設計、開發經驗;
4.豐富的數據解決方案或數據架構(數據倉庫、數據集成、數據管理)構建經驗;
5.豐富的基于開源技術的提供大數據解決方案的經驗;
6.熟悉常用的分析、統計、建模方法,熟悉數據倉庫相關技術,如ETL、報表開發,熟悉分布式計算的設計,了解在能源企業從數據化到決策分析過程中會遇到的各種問題,并有過實戰經驗。
Skills&Competences:
技能和能力:
1.深入了解包括:抽象、SQL查詢路徑以及優化路徑在內的方法和技能;
2.熟悉hive、pig、python任意一種大數據處理語言;熟悉hadoop、sql、shell;
3.熟悉Oracle、SQLServer、DB2、MySQL等主流數據庫及數據倉庫的設計和應用;
4.熟悉Hadoop/Spark/NoSQL數據庫等大數據技術;
5.有數據治理、主數據管理、數據挖掘等工作經驗者優先考慮;
6.具有較強的責任心、執行力,有良好的溝通技巧和團隊領導能力。
Education&ProfessionsCertifications:
教育背景和職業資質:
計算機、數據、統計相關專業本科以上學歷;主要職責:
1.負責數據平臺、數據倉庫架構的規劃與設計;
2.負責數據平臺的整體數據架構設計,完成從業務模型到數據模型的設計工作,熟悉業務模型分析及轉換,具備較強的業務理解和業務抽象能力,善于從復雜現象中抽象根本問題,分析根本原因,并形成最合適的快速解決方案;
3.負責根據業務功能、業務模型,進行數據庫建模設計,具備大型企業級數據庫模型設計能力,對能源類系統,元數據系統有非常深刻的認識和理解,能解決能源類系統數據價值應用的關鍵問題。
4.完成各種面向業務目標的數據分析模型的定義和應用開發,
5.負責數據平臺的數據提取、數據挖掘及數據分析,具有良好的商業敏感度和優秀的數據分析技能,能夠解決復雜的算法問題。
6.負責和各個業務系統之間的數據對接,把控客戶各業務部門的數據需求;
7.帶領團隊成員一起完成數據應用工作的流程、規范和方法的建立。
崗位要求:
經驗
1.8年以上IT行業工作經驗,具有豐富的信息系統設計、實施經驗;
2.具有5年以上企業級數據平臺、數據倉庫設計經驗;
3.豐富的數據架構規劃、數據建模、數據庫設計以及程序設計、開發經驗;
4.豐富的數據解決方案或數據架構(數據倉庫、數據集成、數據管理)構建經驗;
5.豐富的基于開源技術的提供大數據解決方案的經驗;
6.熟悉常用的分析、統計、建模方法,熟悉數據倉庫相關技術,如ETL、報表開發,熟悉分布式計算的設計,了解在能源企業從數據化到決策分析過程中會遇到的各種問題,并有過實戰經驗。
Skills&Competences:
技能和能力:
1.深入了解包括:抽象、SQL查詢路徑以及優化路徑在內的方法和技能;
2.熟悉hive、pig、python任意一種大數據處理語言;熟悉hadoop、sql、shell;
3.熟悉Oracle、SQLServer、DB2、MySQL等主流數據庫及數據倉庫的設計和應用;
4.熟悉Hadoop/Spark/NoSQL數據庫等大數據技術;
5.有數據治理、主數據管理、數據挖掘等工作經驗者優先考慮;
6.具有較強的責任心、執行力,有良好的溝通技巧和團隊領導能力。
Education&ProfessionsCertifications:
教育背景和職業資質:
計算機、數據、統計相關專業本科以上學歷;
篇2:數據架構師崗位工作職責
1、深入理解MDM主數據管理思想和流程;
2、理解業務數據、主數據與元數據的區別與關系;
3、參與過數據模型的設計與開發;
4、深入理解數據清洗,標準化,轉換,匹配,數據質量、安全管理的原理和業務流程;
5、參與過數據ETL開發與設計;
6、熟練運用主流DBMS,nosql數據庫。
篇3:大數據系統架構師崗位職責大數據系統架構師職責任職要求
大數據系統架構師崗位職責
職責描述:
1.負責客戶業務需求、數據分析需求的調研、收集與分析;
2.負責Kyligence大數據平臺整體架構和數據架構設計,根據具體業務需求和產品對數據模型進行統一分析和規劃;
3.負責技術設計及技術實現規范編制,指導開發團隊進行項目設計、項目實現及技術匯報;
4.負責項目重難點模塊的功能設計和難點攻堅;
5.參與大數據平臺的應用設計、開發、測試及優化工作。
任職要求:
1.計算機相關專業,本科及以上學歷;
2.有5年以上工作經驗,3年以上數據倉庫架構和大數據系統設計經驗;
3.精通Hadoop、Hive、HBase原理及優化,熟悉大數據生態技術圈,如Storm、Spark、Flume、Sqoop、Kafka、Zookeeper、ES等,有大規模集群架構設計、開發及管理經驗;
4.熟練使用SQL語言,掌握Oracle、DB2、GP、MySQL等至少兩種數據庫系統的使用,有較好的SQL性能調優經驗;
5.至少熟悉Java,Scala,Python,Shell等編程語言中的2種;
6.熟悉數據治理及應用,元數據管理的設計與應用;
7.熟悉數據倉庫模型的設計,分層設計原理,并結合大數據技術組建解決模型應用的問題;
8.優秀的分析和解決問題的能力,對挑戰性問題充滿激情;
9.具備良好的文檔撰寫能力和技術團隊管理能力;
10.具備良好的團隊合作精神,較強的溝通能力,具備良好的技術領導能力;
11.有Hive數據倉庫或者ApacheKylin的開發經驗者優先考慮;