數(shù)據(jù)倉庫架構(gòu)師/ETL工程師同程藝龍同程網(wǎng)絡(luò)科技股份有限公司,同程旅游,同程藝龍,同程位職責(zé):

1、負責(zé)數(shù)據(jù)倉庫數(shù)據(jù)采集、處理、存儲以及挖掘分析的架構(gòu)實現(xiàn),負責(zé)架構(gòu)設(shè)計和指導(dǎo)團隊落地;

2、參與數(shù)據(jù)平臺建設(shè),包括環(huán)境和框架的規(guī)劃搭建以及部分核心編碼工作;設(shè)計并實現(xiàn)對BI分析、數(shù)據(jù)產(chǎn)品開發(fā)、算法開發(fā)的系統(tǒng)性支持;

3、研究未來數(shù)據(jù)模型和計算框架的創(chuàng)新與落地,包括但不限于以下領(lǐng)域:大規(guī)模數(shù)據(jù)實時化、研發(fā)模式敏捷化、數(shù)據(jù)計算框架輕量化、數(shù)據(jù)模型組織方式業(yè)務(wù)化等方面。

職位要求:

1、具備5年以上DW系統(tǒng)建設(shè)經(jīng)驗;了解數(shù)據(jù)倉庫建設(shè)過程中的挑戰(zhàn)與問題,有實際架構(gòu)設(shè)計和數(shù)據(jù)建模經(jīng)驗,有作為技術(shù)負責(zé)人系統(tǒng)化解決問題的成功案例;

2、有DW/BI架構(gòu)體系中某些領(lǐng)域的專項建設(shè)經(jīng)驗,包括但不限于:數(shù)據(jù)質(zhì)量、元數(shù)據(jù)管理、主數(shù)據(jù)管理、數(shù)據(jù)監(jiān)控、流計算、分布式計算、分布式文件系統(tǒng)、分布式存儲、大規(guī)模數(shù)據(jù)實時化、跨平臺資源調(diào)度;

3、熟悉hadoop生態(tài)圈,包括但不限于:hadoop、hive、storm、spark、dremel、kylin等;

4、有海量數(shù)據(jù)建模實踐經(jīng)驗優(yōu)先。

篇2:數(shù)據(jù)倉庫研發(fā)工程師崗位職責(zé)

搜狗金融-數(shù)據(jù)倉庫研發(fā)工程師-北京-02173(MJ001926)搜狗北京搜狗科技發(fā)展有限公司,北京搜狗科技,搜狗,搜狗科技,搜狗翻譯,搜狗詞典,搜狗崗位職責(zé):

1、數(shù)據(jù)倉庫、數(shù)據(jù)集市的數(shù)據(jù)模型設(shè)計

2、數(shù)據(jù)倉庫ETL規(guī)則設(shè)計和開發(fā)

3、利用HQL進行數(shù)據(jù)清洗,根據(jù)應(yīng)用場景建立數(shù)據(jù)集市。

4、數(shù)據(jù)倉庫數(shù)據(jù)導(dǎo)入,建表,日常任務(wù)跑批,日志監(jiān)控。

5、數(shù)據(jù)倉庫需求調(diào)研和需求分析

任職條件:

1、熟悉python,熟練使用shell編程解決數(shù)據(jù)清洗;

2、熟練使用Hadoop、Hive、Sqoop,熟練使用hiveSQL并有一定編寫map/reduce開發(fā)經(jīng)驗;

3、熟悉數(shù)據(jù)倉庫建模理論,了解數(shù)據(jù)倉庫數(shù)據(jù)分層架構(gòu),精通3NF和多維數(shù)據(jù)模型設(shè)計;

4、具備大中型數(shù)據(jù)倉庫架構(gòu)設(shè)計、模型設(shè)計、ETL設(shè)計的相關(guān)經(jīng)驗;

5、具備海量數(shù)據(jù)處理、有性能調(diào)優(yōu)經(jīng)、金融、電商、電信、互聯(lián)網(wǎng)行業(yè)數(shù)據(jù)模型經(jīng)驗者優(yōu)先

這是一款定位于服務(wù)平臺互聯(lián)網(wǎng)用戶的金融產(chǎn)品,由搜狗公司內(nèi)部孵化,深度挖掘搜狗在互聯(lián)網(wǎng)端的用戶規(guī)模優(yōu)勢以及多年的大數(shù)據(jù)能力積累。在當(dāng)下大熱的互聯(lián)網(wǎng)金融領(lǐng)域,搜狗將發(fā)揮用戶服務(wù)和智能算法優(yōu)勢,并結(jié)合平臺的綜合運營實力。

篇3:倉庫開發(fā)工程師崗位職責(zé)

數(shù)據(jù)倉庫開發(fā)工程師同程藝龍同程網(wǎng)絡(luò)科技股份有限公司,同程旅游,同程藝龍,同程職責(zé)描述:

1、數(shù)據(jù)倉庫、數(shù)據(jù)集市的數(shù)據(jù)模型設(shè)計

2、數(shù)據(jù)倉庫ETL規(guī)則設(shè)計和開發(fā)數(shù)據(jù)倉庫需求調(diào)研和需求分析

3.業(yè)務(wù)模型抽象、數(shù)據(jù)模型設(shè)計開發(fā)

4.支持業(yè)務(wù)的數(shù)據(jù)需求,跟分析師一起完善業(yè)務(wù)的數(shù)據(jù)分析體系和工具

5.ETL、數(shù)據(jù)應(yīng)用和服務(wù)的設(shè)計開發(fā)

6.積累數(shù)據(jù)生產(chǎn)、分析工具,不斷提高數(shù)據(jù)生產(chǎn)效率

7.實時數(shù)據(jù)倉庫設(shè)計、開發(fā)與服務(wù)

任職要求:

1、1年以上數(shù)據(jù)倉庫開發(fā)和架構(gòu)經(jīng)驗,深刻理解數(shù)據(jù)倉庫應(yīng)用設(shè)計原理和實踐;

3、精通數(shù)據(jù)庫索引和sql語句的優(yōu)化,和服務(wù)器的性能參數(shù)調(diào)整

4、熟練一種以上主流ETL工具和BI工具

5、能根據(jù)業(yè)務(wù)需求設(shè)計數(shù)據(jù)倉庫模型,掌握多種數(shù)據(jù)倉或數(shù)據(jù)集市開發(fā),多維分析相關(guān)技術(shù)和OLAP前端展現(xiàn)工具;

6、有互聯(lián)網(wǎng)旅游數(shù)據(jù)倉庫經(jīng)驗者優(yōu)先;有處理實時數(shù)據(jù)經(jīng)驗者優(yōu)先;

7、強烈責(zé)任心,開放的性格,良好的溝通能力;較強的分析問題、解決問題能力,良好的溝通能力、團隊精神。

8、有一個以上企業(yè)級數(shù)據(jù)倉庫項目設(shè)計經(jīng)驗,精通數(shù)據(jù)倉庫架構(gòu),熟悉數(shù)據(jù)倉庫項目的實施流程;