大數據平臺工程師職位描述與崗位職責任職要求
職位描述:
職責描述:
1、參與公司數據平臺架構設計,負責大數據平臺和數據倉庫相關建設;2、依據公司的大數據技術發展路線,負責基于Hadoop生態系統和MPP數據庫的大規模數據平臺的研發及數據倉庫建設,提供可靠的數據存儲和訪問能力;3、負責公司大數據平臺和數據倉庫的搭建、開發、管理、監控和性能調優,保證集群高效穩定運行;4、規劃與開發離線數據平臺系統,處理海量數據,優化存儲和計算架構的性能;5、負責數據平臺技術難點攻關、技術選型評估,參與開發流程的討論與優化;6、參與公司數據治理策略等的制訂和實施;7、負責協助產品經理進行數據倉庫相關的需求分析、建模、寬表設計等工作;
8、負責系統核心代碼編寫、代碼審核和重構,指導和培訓數據工程師、不斷進行系統優化;
任職要求:
1、本科以上學歷,5年以上大數據研發經驗,帶領過10人以上的大數據團隊;2、有大型分布式系統設計經驗,負責過海量數據平臺上高可用、高性能分布式系統的架構設計;3、熟悉大數據開發框架,熟悉hadoop,hbase,spark等及業界主流流處理平臺如,如storm,flunk,sparkstreaming等之一;4、熟悉Greenplum等數據倉庫技術,并有廣泛的實踐經驗,具備維護和解決生產問題的能力;5、熟悉掌握分布式存儲和NoSQL數據庫技術(如MonogoDB、Redis等),有實際生產項目應用經驗;6、熟練掌握java,python,scalar中的至少一種編程語言,掌握常見的數據結構,算法,了解軟件工程、敏捷開發等知識,熟悉常用設計模式;7、理解SOA,微服務,中間件等PAAS相關的關鍵理念與技術,并對其有廣泛的實踐與應用經驗,樂于。8、有民航、電子商務、風控等大數據設計和從業經驗者優先。
篇2:大數據工程師崗位工作職責
簡介:大數據(bigdata),指無法在一定時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合,是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。
大數據工程師職位描述(模板一)
崗位職責:
1.負責數據分析、加工、清洗、處理程序的開發;
2.從事海量數據分析、挖掘相關工作;
3.負責大數據相關平臺的搭建、開發、維護、優化;
4.對業務部門的數據分析需求給予實現與支持;
5.對公司的“數據驅動運營”的業務目標進行大數據架構方案實現。
任職要求:
1.計算機相關專業,本科及以上學歷,3年以上Java開發工作經驗,學習能力突出;
2.熟悉hadoop生態系統內常見項目的使用(hdfs、hive、hbase、spark、zookeeper、yarn等),具有python、spark、MapReduce開發經驗,有實際大數據項目經驗優先;
3.熟練掌握Oracle、MySql等主流數據庫;
4.精通JAVA,熟悉基于J2EE的WEB架構設計,熟悉Web開發流程,有豐富的WebMVC(Struts/SpringMVC、Spring,Hibernate/Mybatis等)開發經驗;
5.熟悉Linu*/Uni*系統環境下的操作;熟悉Tomcat等應用服務器的配置和優化;
6.具有良好的溝通能力、組織能力及團隊協作精神,有較強的分析和解決問題的能力。
大數據工程師職位描述(模板二)
崗位職責:
1.大數據平臺功能規劃、設計;
2.大數據平臺的設計、研發;
3.大數據平臺實施、數據接入。
任職要求:
1.統招本科及以上學歷,計算機科學、軟件工程、數學、統計學相關專業畢業;
2.具有扎實的Java基礎,精通SQL、mysql以及2年以上軟件開發經驗;
3.熟悉HADOOP平臺架構,有hadooop、HBase、Hive、Spark、kafka使用經驗;
4.熟練Python進行數據處理,網頁爬取;
5.有非結構化數據解析、識別經驗優先。
大數據工程師職位描述(模板三)
崗位職責:
1.負責數據倉庫建設、設計、優化和落地;
2.負責數據ETL開發、數據平臺建設、設計并實現對BI分析、數據產品開發。
任職要求:
1.985院校計算機相關專業本科以上學歷;
2.有較扎實的數據倉庫理論基礎,對數據模型建設、應用層建設有比較豐富的經驗;
3.有Hadoop、Hive、Spark、Impala等大數據技術使用經驗者優先。
大數據工程師職位描述(模板四)
崗位職責:
1.主要負責電信業務的大數據開發工作;
2.結合業務需求設計數據分析場景,并形成后臺實現方案,獨立完成業務數據建模,并將結果轉化為運營指標;
3.對產品全生命周期跟進,協調各種資源保證產品順利發展。
任職要求:
1.計算機或者相關專業本科及以上學歷,3年及以上相關工作經驗;
2.熟練掌握java開發語言,熟悉多線程和線程調優,如懂scala開發更佳;
3.熟悉Linu*服務器環境、熟悉shell;
4.熟悉分布式系統、集群管理、SOA架構等相關技術,熟悉hadooponyarn集群部署和工作原理,熟練掌握MR開發,有大型集群開發運維經驗更佳;
5.熟悉以下技術中3種及以上者優先考慮:hive、hbase、impala、Ngin*、zookeeper、redis、kafka、storm、spark、es、爬蟲;
6.具有良好的溝通能力和團隊精神,具有良好的抗壓能力。
大數據工程師職位描述(模板五)
崗位職責:
1.負責大數據處理平臺應用的開發工作;
2.利用Hadoopyarn/Storm/Spark進行開發、存儲、分布式計算應用的代碼實現;
3.優化Hadoopyarn/Storm/Spark參數,實現系統調優,滿足行業應用的實時大數據處理需求;
4.學習新技術,提高整個平臺的計算能力和效率;
5.開發基于HIVE、Hbase、ES等數據處理方式的腳本程序。
任職要求:
1.3年以上Hadoop/Storm/Spark開發經驗,對分布式、并行計算理論有深刻理解;
2.精通java/scala/python任一語言;
3.對Hadoop/Storm/Spark源碼有研究,有大數據平臺開發工作經驗者優先;
4.有很好的技術敏感性,良好的學習能力和吃苦耐勞能力;
5.具有較好的溝通協調能力、團隊合作能力、文檔編寫能力。
篇3:貴金屬大數據工程師崗位職責
大數據工程師工作職責:
1.負責公司大數據平臺框架的研發設計工作。
2.通過對貴金屬業務規則的理解,完成對數據的分析和處理。
3.開發數據后臺,將數據分析結果呈現到前端。
任職要求:
1.全日制本科以上學歷,計算機,數學或統計相關專業。
2.有數據分析,數據處理等相關領域的工作經驗。
3.有PB級別的文本數據的清洗和處理經驗。
4.熟悉常用的大數據技術。如:sparkstreaming,hbase,kafka等。
5.熟悉Java開發語言。