大數(shù)據(jù)崗位職責(zé)

工作職責(zé):

1、參與實(shí)時(shí)大數(shù)據(jù)平臺(tái)的數(shù)據(jù)存儲(chǔ)、計(jì)算、監(jiān)控、分析、機(jī)器學(xué)習(xí)等模塊開發(fā),打造穩(wěn)定可靠的平臺(tái)化、可視化、自動(dòng)化的交互式大數(shù)據(jù)平臺(tái);

2、負(fù)責(zé)基于大數(shù)據(jù)平臺(tái)的應(yīng)用設(shè)計(jì)、開發(fā)和維護(hù)及性能提升;

3、規(guī)劃設(shè)計(jì)大數(shù)據(jù)產(chǎn)品,包括實(shí)時(shí)計(jì)算平臺(tái)、數(shù)據(jù)監(jiān)控平臺(tái)、機(jī)器學(xué)習(xí)平臺(tái)、數(shù)據(jù)開發(fā)平臺(tái)等。

任職資格:

1、本科以上學(xué)歷,計(jì)算機(jī)軟件或數(shù)學(xué)相關(guān)專業(yè);

2、3年以上大數(shù)據(jù)應(yīng)用系統(tǒng)開發(fā)經(jīng)驗(yàn),至少3年Java開發(fā)經(jīng)驗(yàn),熟知底層原理,熟悉機(jī)器學(xué)習(xí)和算法優(yōu)先;

3、熟悉Hadoop生態(tài)圈技術(shù)體系,對離線計(jì)算、內(nèi)存計(jì)算和流式計(jì)算均有深刻理解,如Hadoop、Hive、Spark、Flink、Impala等;

4、精通Hive、HBase倉庫設(shè)計(jì),深刻理解MR運(yùn)行原理和機(jī)制,能進(jìn)行任務(wù)執(zhí)行效率的優(yōu)化;

5、邏輯思維能力強(qiáng),做事有條理,責(zé)任感強(qiáng),工作積極主動(dòng),執(zhí)行力強(qiáng),有良好的團(tuán)隊(duì)協(xié)作意識(shí)。

大數(shù)據(jù)崗位

篇2:Java大數(shù)據(jù)崗位工作職責(zé)

簡介:Java大數(shù)據(jù)是對大量、動(dòng)態(tài)、能持續(xù)的數(shù)據(jù),通過運(yùn)用新系統(tǒng)、新工具、新模型的挖掘,從而獲得具有洞察力和新價(jià)值的東西。

Java大數(shù)據(jù)職位描述(模板一)

崗位職責(zé):

1.參與指標(biāo)系統(tǒng)的建設(shè);

2.基于大數(shù)據(jù)離線+實(shí)時(shí)分析日志,進(jìn)行數(shù)據(jù)挖掘;

3.自助分析,關(guān)聯(lián)分析系統(tǒng)的構(gòu)建;

4.數(shù)據(jù)開放網(wǎng)關(guān)。

任職資格:

1.本科以上學(xué)歷,3年以上Java軟件開發(fā)工作經(jīng)驗(yàn),有互聯(lián)網(wǎng)經(jīng)驗(yàn);

2.熟悉Java開發(fā),熟練掌握各類常用數(shù)據(jù)結(jié)構(gòu)和相關(guān)算法;

3.至少熟悉一種關(guān)系型數(shù)據(jù)庫如Oracle、mysql等,熟練掌握Hive/SQL,熟悉Hadoop/Map-Reduce/MPI分布式計(jì)算框架,有海量數(shù)據(jù)處理經(jīng)驗(yàn)者優(yōu)先;

4.有大數(shù)據(jù)建模、大數(shù)據(jù)存儲(chǔ)方面設(shè)計(jì),并有大數(shù)據(jù)分析處理實(shí)際項(xiàng)目經(jīng)驗(yàn)優(yōu)先;

5.喜歡專研技術(shù)、有獨(dú)立探索技術(shù)的能力,有開源項(xiàng)目經(jīng)驗(yàn)者優(yōu)先;

6.扎實(shí)的數(shù)據(jù)結(jié)構(gòu)及算法基礎(chǔ),有良好的代碼書寫、注釋和單元測試習(xí)慣;

7.對技術(shù)充滿熱情,具備良好的溝通能力、強(qiáng)烈的責(zé)任心和團(tuán)隊(duì)合作精神;可以獨(dú)立帶領(lǐng)團(tuán)隊(duì)完成項(xiàng)目需求者優(yōu)先。

Java大數(shù)據(jù)職位描述(模板二)

崗位職責(zé):

1.根據(jù)要求,負(fù)責(zé)公司數(shù)據(jù)平臺(tái)的方案設(shè)計(jì)并主導(dǎo)方案的實(shí)現(xiàn);

2.負(fù)責(zé)公司數(shù)據(jù)平臺(tái)各類數(shù)據(jù)的存儲(chǔ)優(yōu)化、維護(hù)及建模等工作;

3.負(fù)責(zé)算法設(shè)計(jì),并推動(dòng)實(shí)現(xiàn)和驗(yàn)證;

4.負(fù)責(zé)編寫相關(guān)技術(shù)文檔。

任職要求:

1.本科及以上學(xué)歷,計(jì)算機(jī)相關(guān)專業(yè),兩年以上后端服務(wù)系統(tǒng)相關(guān)實(shí)戰(zhàn)經(jīng)驗(yàn);

2.對大數(shù)據(jù)系統(tǒng)、云服務(wù)系統(tǒng)有一定了解,有企業(yè)大數(shù)據(jù)服務(wù)的互聯(lián)網(wǎng)從業(yè)經(jīng)歷者優(yōu)先;

3.擁有扎實(shí)的編程能力,熟練掌握常見數(shù)據(jù)結(jié)構(gòu),掌握J(rèn)ava常用框架和開發(fā)模式;

4.熟悉Spring、MyBatis等開源框架,了解其工作原理;熟悉微服務(wù)開發(fā);

5.熟練掌握常見SQL、NoSQL數(shù)據(jù)庫原理、數(shù)據(jù)庫設(shè)計(jì)、查詢編寫和優(yōu)化;

6.熟悉Hadoop、Hive、Spark、ElasticSearch、Lucene、Kafka等數(shù)據(jù)和搜索系統(tǒng);

7.邏輯分析能力強(qiáng),善于溝通,有良好的團(tuán)隊(duì)合作精神,良好的學(xué)習(xí)能力。

Java大數(shù)據(jù)職位描述(模板三)

崗位職責(zé):

1.負(fù)責(zé)基于Spark的大數(shù)據(jù)和機(jī)器學(xué)習(xí)產(chǎn)品架構(gòu)設(shè)計(jì)、研發(fā);

2.完善和優(yōu)化系統(tǒng)處理能力和準(zhǔn)確性;

3.根據(jù)產(chǎn)品和項(xiàng)目需求,完成相應(yīng)的技術(shù)文檔編寫;

4.按要求完成代碼的單元測試和承擔(dān)必要的代碼檢查工作。

任職要求:

1.開發(fā)3年以上經(jīng)驗(yàn);

2.本科及以上學(xué)歷,熟悉linu*開發(fā)環(huán)境;

3.精通Spark、Scala,有互聯(lián)網(wǎng)大數(shù)據(jù)平臺(tái)開發(fā)經(jīng)驗(yàn)。掌握hadoop相關(guān)技術(shù)棧,如Hive、Hbase、kafka、flume、mahout等;

4.有hadoop/Spark調(diào)優(yōu)、機(jī)器學(xué)習(xí)經(jīng)驗(yàn);

5.精通Java語言,熟悉設(shè)計(jì)模式;了解多線程、異步通信處理等;

6.了解大數(shù)據(jù)處理及分布式管理前沿技術(shù)(包括Hadoop、MapReduce、Spark、ZooKeeper等開源框架);

7.良好的溝通技能,團(tuán)隊(duì)合作能力,曾做過分布式系統(tǒng)開發(fā)的優(yōu)先考慮。

篇3:大數(shù)據(jù)工程師崗位工作職責(zé)

簡介:大數(shù)據(jù)(bigdata),指無法在一定時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合,是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。

大數(shù)據(jù)工程師職位描述(模板一)

崗位職責(zé):

1.負(fù)責(zé)數(shù)據(jù)分析、加工、清洗、處理程序的開發(fā);

2.從事海量數(shù)據(jù)分析、挖掘相關(guān)工作;

3.負(fù)責(zé)大數(shù)據(jù)相關(guān)平臺(tái)的搭建、開發(fā)、維護(hù)、優(yōu)化;

4.對業(yè)務(wù)部門的數(shù)據(jù)分析需求給予實(shí)現(xiàn)與支持;

5.對公司的“數(shù)據(jù)驅(qū)動(dòng)運(yùn)營”的業(yè)務(wù)目標(biāo)進(jìn)行大數(shù)據(jù)架構(gòu)方案實(shí)現(xiàn)。

任職要求:

1.計(jì)算機(jī)相關(guān)專業(yè),本科及以上學(xué)歷,3年以上Java開發(fā)工作經(jīng)驗(yàn),學(xué)習(xí)能力突出;

2.熟悉hadoop生態(tài)系統(tǒng)內(nèi)常見項(xiàng)目的使用(hdfs、hive、hbase、spark、zookeeper、yarn等),具有python、spark、MapReduce開發(fā)經(jīng)驗(yàn),有實(shí)際大數(shù)據(jù)項(xiàng)目經(jīng)驗(yàn)優(yōu)先;

3.熟練掌握Oracle、MySql等主流數(shù)據(jù)庫;

4.精通JAVA,熟悉基于J2EE的WEB架構(gòu)設(shè)計(jì),熟悉Web開發(fā)流程,有豐富的WebMVC(Struts/SpringMVC、Spring,Hibernate/Mybatis等)開發(fā)經(jīng)驗(yàn);

5.熟悉Linu*/Uni*系統(tǒng)環(huán)境下的操作;熟悉Tomcat等應(yīng)用服務(wù)器的配置和優(yōu)化;

6.具有良好的溝通能力、組織能力及團(tuán)隊(duì)協(xié)作精神,有較強(qiáng)的分析和解決問題的能力。

大數(shù)據(jù)工程師職位描述(模板二)

崗位職責(zé):

1.大數(shù)據(jù)平臺(tái)功能規(guī)劃、設(shè)計(jì);

2.大數(shù)據(jù)平臺(tái)的設(shè)計(jì)、研發(fā);

3.大數(shù)據(jù)平臺(tái)實(shí)施、數(shù)據(jù)接入。

任職要求:

1.統(tǒng)招本科及以上學(xué)歷,計(jì)算機(jī)科學(xué)、軟件工程、數(shù)學(xué)、統(tǒng)計(jì)學(xué)相關(guān)專業(yè)畢業(yè);

2.具有扎實(shí)的Java基礎(chǔ),精通SQL、mysql以及2年以上軟件開發(fā)經(jīng)驗(yàn);

3.熟悉HADOOP平臺(tái)架構(gòu),有hadooop、HBase、Hive、Spark、kafka使用經(jīng)驗(yàn);

4.熟練Python進(jìn)行數(shù)據(jù)處理,網(wǎng)頁爬取;

5.有非結(jié)構(gòu)化數(shù)據(jù)解析、識(shí)別經(jīng)驗(yàn)優(yōu)先。

大數(shù)據(jù)工程師職位描述(模板三)

崗位職責(zé):

1.負(fù)責(zé)數(shù)據(jù)倉庫建設(shè)、設(shè)計(jì)、優(yōu)化和落地;

2.負(fù)責(zé)數(shù)據(jù)ETL開發(fā)、數(shù)據(jù)平臺(tái)建設(shè)、設(shè)計(jì)并實(shí)現(xiàn)對BI分析、數(shù)據(jù)產(chǎn)品開發(fā)。

任職要求:

1.985院校計(jì)算機(jī)相關(guān)專業(yè)本科以上學(xué)歷;

2.有較扎實(shí)的數(shù)據(jù)倉庫理論基礎(chǔ),對數(shù)據(jù)模型建設(shè)、應(yīng)用層建設(shè)有比較豐富的經(jīng)驗(yàn);

3.有Hadoop、Hive、Spark、Impala等大數(shù)據(jù)技術(shù)使用經(jīng)驗(yàn)者優(yōu)先。

大數(shù)據(jù)工程師職位描述(模板四)

崗位職責(zé):

1.主要負(fù)責(zé)電信業(yè)務(wù)的大數(shù)據(jù)開發(fā)工作;

2.結(jié)合業(yè)務(wù)需求設(shè)計(jì)數(shù)據(jù)分析場景,并形成后臺(tái)實(shí)現(xiàn)方案,獨(dú)立完成業(yè)務(wù)數(shù)據(jù)建模,并將結(jié)果轉(zhuǎn)化為運(yùn)營指標(biāo);

3.對產(chǎn)品全生命周期跟進(jìn),協(xié)調(diào)各種資源保證產(chǎn)品順利發(fā)展。

任職要求:

1.計(jì)算機(jī)或者相關(guān)專業(yè)本科及以上學(xué)歷,3年及以上相關(guān)工作經(jīng)驗(yàn);

2.熟練掌握java開發(fā)語言,熟悉多線程和線程調(diào)優(yōu),如懂scala開發(fā)更佳;

3.熟悉Linu*服務(wù)器環(huán)境、熟悉shell;

4.熟悉分布式系統(tǒng)、集群管理、SOA架構(gòu)等相關(guān)技術(shù),熟悉hadooponyarn集群部署和工作原理,熟練掌握MR開發(fā),有大型集群開發(fā)運(yùn)維經(jīng)驗(yàn)更佳;

5.熟悉以下技術(shù)中3種及以上者優(yōu)先考慮:hive、hbase、impala、Ngin*、zookeeper、redis、kafka、storm、spark、es、爬蟲;

6.具有良好的溝通能力和團(tuán)隊(duì)精神,具有良好的抗壓能力。

大數(shù)據(jù)工程師職位描述(模板五)

崗位職責(zé):

1.負(fù)責(zé)大數(shù)據(jù)處理平臺(tái)應(yīng)用的開發(fā)工作;

2.利用Hadoopyarn/Storm/Spark進(jìn)行開發(fā)、存儲(chǔ)、分布式計(jì)算應(yīng)用的代碼實(shí)現(xiàn);

3.優(yōu)化Hadoopyarn/Storm/Spark參數(shù),實(shí)現(xiàn)系統(tǒng)調(diào)優(yōu),滿足行業(yè)應(yīng)用的實(shí)時(shí)大數(shù)據(jù)處理需求;

4.學(xué)習(xí)新技術(shù),提高整個(gè)平臺(tái)的計(jì)算能力和效率;

5.開發(fā)基于HIVE、Hbase、ES等數(shù)據(jù)處理方式的腳本程序。

任職要求:

1.3年以上Hadoop/Storm/Spark開發(fā)經(jīng)驗(yàn),對分布式、并行計(jì)算理論有深刻理解;

2.精通java/scala/python任一語言;

3.對Hadoop/Storm/Spark源碼有研究,有大數(shù)據(jù)平臺(tái)開發(fā)工作經(jīng)驗(yàn)者優(yōu)先;

4.有很好的技術(shù)敏感性,良好的學(xué)習(xí)能力和吃苦耐勞能力;

5.具有較好的溝通協(xié)調(diào)能力、團(tuán)隊(duì)合作能力、文檔編寫能力。