資深數(shù)據(jù)倉庫工程師崗位職責(zé)

資深數(shù)據(jù)倉庫工程師職位描述:

1、負(fù)責(zé)數(shù)據(jù)平臺架構(gòu)的整體規(guī)劃和設(shè)計(jì);

2、根據(jù)上層業(yè)務(wù)邏輯整合優(yōu)化平臺數(shù)據(jù)流程,技術(shù)難點(diǎn)攻關(guān);

3、對數(shù)據(jù)及業(yè)務(wù)開發(fā)團(tuán)隊(duì)提供技術(shù)支持,協(xié)助方案規(guī)劃。

任職要求

1、精通數(shù)據(jù)倉庫實(shí)施方法論、深入了解數(shù)據(jù)倉庫體系架構(gòu),精通邏輯模型和物理模型建模、中間層模型理論以及多維模型的設(shè)計(jì);

2、對hive、hbase、hadoop、map/reduce、spark有深入了解;

3、精通主流數(shù)據(jù)庫技術(shù)(如Oracle、SQLServer、MySQL等),精通SQL,有較強(qiáng)的SQL編碼及數(shù)據(jù)存儲、性能調(diào)優(yōu)經(jīng)驗(yàn);

4、能夠?qū)I(yè)務(wù)需求進(jìn)行抽象并據(jù)此進(jìn)行架構(gòu)設(shè)計(jì);

5、具有較強(qiáng)的溝通,表達(dá)及文檔編寫能力,有大數(shù)據(jù)建設(shè)經(jīng)驗(yàn)者優(yōu)先;

6、數(shù)據(jù)java開發(fā),有相關(guān)的工作經(jīng)驗(yàn);

7、熟悉數(shù)據(jù)倉庫相關(guān)技術(shù),如ETL、調(diào)度相關(guān)、報(bào)表開發(fā)。

職位描述:

1、負(fù)責(zé)數(shù)據(jù)平臺架構(gòu)的整體規(guī)劃和設(shè)計(jì);

2、根據(jù)上層業(yè)務(wù)邏輯整合優(yōu)化平臺數(shù)據(jù)流程,技術(shù)難點(diǎn)攻關(guān);

3、對數(shù)據(jù)及業(yè)務(wù)開發(fā)團(tuán)隊(duì)提供技術(shù)支持,協(xié)助方案規(guī)劃。

任職要求

1、精通數(shù)據(jù)倉庫實(shí)施方法論、深入了解數(shù)據(jù)倉庫體系架構(gòu),精通邏輯模型和物理模型建模、中間層模型理論以及多維模型的設(shè)計(jì);

2、對hive、hbase、hadoop、map/reduce、spark有深入了解;

3、精通主流數(shù)據(jù)庫技術(shù)(如Oracle、SQLServer、MySQL等),精通SQL,有較強(qiáng)的SQL編碼及數(shù)據(jù)存儲、性能調(diào)優(yōu)經(jīng)驗(yàn);

4、能夠?qū)I(yè)務(wù)需求進(jìn)行抽象并據(jù)此進(jìn)行架構(gòu)設(shè)計(jì);

5、具有較強(qiáng)的溝通,表達(dá)及文檔編寫能力,有大數(shù)據(jù)建設(shè)經(jīng)驗(yàn)者優(yōu)先;

6、數(shù)據(jù)java開發(fā),有相關(guān)的工作經(jīng)驗(yàn);

7、熟悉數(shù)據(jù)倉庫相關(guān)技術(shù),如ETL、調(diào)度相關(guān)、報(bào)表開發(fā)。

篇2:數(shù)據(jù)倉庫研發(fā)工程師崗位職責(zé)

搜狗金融-數(shù)據(jù)倉庫研發(fā)工程師-北京-02173(MJ001926)搜狗北京搜狗科技發(fā)展有限公司,北京搜狗科技,搜狗,搜狗科技,搜狗翻譯,搜狗詞典,搜狗崗位職責(zé):

1、數(shù)據(jù)倉庫、數(shù)據(jù)集市的數(shù)據(jù)模型設(shè)計(jì)

2、數(shù)據(jù)倉庫ETL規(guī)則設(shè)計(jì)和開發(fā)

3、利用HQL進(jìn)行數(shù)據(jù)清洗,根據(jù)應(yīng)用場景建立數(shù)據(jù)集市。

4、數(shù)據(jù)倉庫數(shù)據(jù)導(dǎo)入,建表,日常任務(wù)跑批,日志監(jiān)控。

5、數(shù)據(jù)倉庫需求調(diào)研和需求分析

任職條件:

1、熟悉python,熟練使用shell編程解決數(shù)據(jù)清洗;

2、熟練使用Hadoop、Hive、Sqoop,熟練使用hiveSQL并有一定編寫map/reduce開發(fā)經(jīng)驗(yàn);

3、熟悉數(shù)據(jù)倉庫建模理論,了解數(shù)據(jù)倉庫數(shù)據(jù)分層架構(gòu),精通3NF和多維數(shù)據(jù)模型設(shè)計(jì);

4、具備大中型數(shù)據(jù)倉庫架構(gòu)設(shè)計(jì)、模型設(shè)計(jì)、ETL設(shè)計(jì)的相關(guān)經(jīng)驗(yàn);

5、具備海量數(shù)據(jù)處理、有性能調(diào)優(yōu)經(jīng)、金融、電商、電信、互聯(lián)網(wǎng)行業(yè)數(shù)據(jù)模型經(jīng)驗(yàn)者優(yōu)先

這是一款定位于服務(wù)平臺互聯(lián)網(wǎng)用戶的金融產(chǎn)品,由搜狗公司內(nèi)部孵化,深度挖掘搜狗在互聯(lián)網(wǎng)端的用戶規(guī)模優(yōu)勢以及多年的大數(shù)據(jù)能力積累。在當(dāng)下大熱的互聯(lián)網(wǎng)金融領(lǐng)域,搜狗將發(fā)揮用戶服務(wù)和智能算法優(yōu)勢,并結(jié)合平臺的綜合運(yùn)營實(shí)力。

篇3:BI數(shù)據(jù)倉庫工程師崗位職責(zé)

BI工程師-數(shù)據(jù)倉庫涂鴉智能杭州涂鴉科技有限公司,涂鴉智能,愛相機(jī)崗位職責(zé):

1.負(fù)責(zé)業(yè)務(wù)數(shù)據(jù)調(diào)研、需求理解,數(shù)據(jù)采集方案設(shè)計(jì)及實(shí)現(xiàn);

2.負(fù)責(zé)建立數(shù)據(jù)模型,根據(jù)業(yè)務(wù)設(shè)計(jì)數(shù)據(jù)主題;

3.負(fù)責(zé)數(shù)據(jù)模型的ETL編寫,參與團(tuán)隊(duì)ETL流程的優(yōu)化及解決ETL相關(guān)技術(shù)問題;

4.理解業(yè)務(wù)方的數(shù)據(jù)需求,提供面向業(yè)務(wù)的OLAP、報(bào)表、數(shù)據(jù)提取等數(shù)據(jù)服務(wù);

任職要求:

1.本科及以上學(xué)歷,計(jì)算機(jī)相關(guān)專業(yè),2-5年企業(yè)級數(shù)據(jù)平臺相關(guān)系統(tǒng)開發(fā)經(jīng)驗(yàn);

2.SQL技能嫻熟,精通hive-sql,presto-sql

3.具有扎實(shí)的計(jì)算機(jī)操作系統(tǒng)、數(shù)據(jù)結(jié)構(gòu)等編程基礎(chǔ),熟悉Java或scala語言;

4.有過2年以上bi項(xiàng)目經(jīng)驗(yàn),熟悉開源的bi工具如:metabase,superset,redash.有實(shí)際操作經(jīng)驗(yàn)。

7.有良好的溝通能力,善于主動思考和行動,有極強(qiáng)的責(zé)任心和自驅(qū)力。