數據倉庫ETLBI工程師職位描述與崗位職責任職要求
職位描述:
職責描述:
1、負責數據倉庫建模,業務數據集市建設開發
2、負責數據倉庫ETL流程的優化及解決ETL相關技術問題、ETL流程監控,保障數據平臺架構穩定性
3、建立數據分析指標體系,不斷完善指標體系和分析模型;
4、通過專項分析,輸出專項分析報告
5、負責數據分析相關需求和數據測試的工作
任職要求:
學歷要求:
全日制統考類本科及以上學歷,計算機、通信、電子、軟件工程、統計學、應用數學、數據分析等相關專業
專業技能:
1、熟悉數據倉庫各類模型建模理論,熟悉數據倉庫數據分層架構和多維數據模型設計;
2、豐富的數據分析經驗,熟練掌握SQL、HQL、SparkSQL,擅長運用其分析并完成復雜業務數據查詢
3、掌握至少一種數據庫開發技術:Mysql/Oracle/DB2等,靈活運用SQL實現海量數據ETL加工處理;
4、熟悉Hadoop生態(如:Hdfs/Mapreduce/Hive/Hbase等),并有相關實踐經驗;
5、熟練掌握一門或多門編程語言(如:Python/shell/Java/C++等),并有大型項目建設經驗者優先;
素質:
1、敏銳的數據觀察和分析能力,及時發現和分析其中隱含的變化和問題并給出建議;
2、良好的溝通能力和團隊精神,較強的學習能力,能承擔一定的工作壓力。
經驗:
至少2年以上數據倉庫(離線&實時)模型設計開發、ETL設計開發的相關經驗,有通信運營商O域/B域大數據、智慧城市大數據的數據倉庫、ETL設計研發經驗者優先"
篇2:數據倉庫研發工程師崗位職責
搜狗金融-數據倉庫研發工程師-北京-02173(MJ001926)搜狗北京搜狗科技發展有限公司,北京搜狗科技,搜狗,搜狗科技,搜狗翻譯,搜狗詞典,搜狗崗位職責:
1、數據倉庫、數據集市的數據模型設計
2、數據倉庫ETL規則設計和開發
3、利用HQL進行數據清洗,根據應用場景建立數據集市。
4、數據倉庫數據導入,建表,日常任務跑批,日志監控。
5、數據倉庫需求調研和需求分析
任職條件:
1、熟悉python,熟練使用shell編程解決數據清洗;
2、熟練使用Hadoop、Hive、Sqoop,熟練使用hiveSQL并有一定編寫map/reduce開發經驗;
3、熟悉數據倉庫建模理論,了解數據倉庫數據分層架構,精通3NF和多維數據模型設計;
4、具備大中型數據倉庫架構設計、模型設計、ETL設計的相關經驗;
5、具備海量數據處理、有性能調優經、金融、電商、電信、互聯網行業數據模型經驗者優先
這是一款定位于服務平臺互聯網用戶的金融產品,由搜狗公司內部孵化,深度挖掘搜狗在互聯網端的用戶規模優勢以及多年的大數據能力積累。在當下大熱的互聯網金融領域,搜狗將發揮用戶服務和智能算法優勢,并結合平臺的綜合運營實力。
篇3:倉庫開發工程師崗位職責
數據倉庫開發工程師同程藝龍同程網絡科技股份有限公司,同程旅游,同程藝龍,同程職責描述:
1、數據倉庫、數據集市的數據模型設計
2、數據倉庫ETL規則設計和開發數據倉庫需求調研和需求分析
3.業務模型抽象、數據模型設計開發
4.支持業務的數據需求,跟分析師一起完善業務的數據分析體系和工具
5.ETL、數據應用和服務的設計開發
6.積累數據生產、分析工具,不斷提高數據生產效率
7.實時數據倉庫設計、開發與服務
任職要求:
1、1年以上數據倉庫開發和架構經驗,深刻理解數據倉庫應用設計原理和實踐;
3、精通數據庫索引和sql語句的優化,和服務器的性能參數調整
4、熟練一種以上主流ETL工具和BI工具
5、能根據業務需求設計數據倉庫模型,掌握多種數據倉或數據集市開發,多維分析相關技術和OLAP前端展現工具;
6、有互聯網旅游數據倉庫經驗者優先;有處理實時數據經驗者優先;
7、強烈責任心,開放的性格,良好的溝通能力;較強的分析問題、解決問題能力,良好的溝通能力、團隊精神。
8、有一個以上企業級數據倉庫項目設計經驗,精通數據倉庫架構,熟悉數據倉庫項目的實施流程;