職位描述：

職責描述：

1.參與產品和項目研發工作，基于SPARK完成產品大數據架構和功能開發；

2.搭建和調優大數據基礎平臺，包括Hadoop/HBase/Hive/Sqoop/Kafka/Flume/Spark/Storm等大數據組件的環境搭建；

3.維護線上系統的穩定性、可靠性，通過分析現象快速定位問題，進而提出優化方案，改進要求；

任職要求：

1.計算機相關專業本科及以上學歷，5年以上大數據工作經驗,有扎實的計算機理論基礎；

2.熟練使用MapReduce、Spark提供的API編程，具備海量數據加工處理（ETL）相關經驗；

3.熟練使用大數據的工具平臺，熟悉Hadoop生態環境，對Hadoop、Spark、Storm、HBase、Hive等至少一個項目有著深入了解；

4.掌握數據分析的基本流程，具備數據采集、清洗、分析等環節的實戰經驗；可以進行數據產品ETL需求的調研及開發；

5.熟悉ETL任務調度及管理；

6.熟悉Shell命令，進行簡單的Shell編程；熟悉Linux文本處理命令，VI、AWK、Sed等命令

7.熟練使用Hadoop或其他分布式平臺的一種，能使用Java、Python或其他語言編寫MapReduce進行大數據處理優先；

8.有大型金融項目經驗者優先。"

篇2:高級大數據開發工程師職位描述與崗位職責任職要求

職位描述：

崗位職責：

1.基于公司大數據產品進行數據開發，包括數據的采集，清洗，預處理，存儲，建模，分析挖掘等

2.根據業務用戶需要分析數據，提供數據支持

3.參與公司大數據產品的運維和監控，保障數據質量和服務穩定性

任職要求：

1.具備本科以上學歷,計算機,軟件以及相關專業,5年以上大數據開發經驗

2.熟悉數據倉庫維度建模,并能根據客戶需求進行數據開發,向模型更新數據

3.使用過至少一種以上的ETL工具

4.熟練掌握Java,對Hadoop相關的技術和組件(HDFS,MR,Hbase,Hive,Spark,Storm,Kafka等）有全面深入了解

5.熟練掌握Shell或者Python中的一種

6.具備Spark開發經驗者優先

7.具備實時計算(Kafka+Storm/SparkStreaming)經驗者優先

8.具備數據分析和數據挖掘方面經驗者優先

篇3:中級大數據開發工程師職位描述與崗位職責任職要求

職位描述：

職責描述：

1、參與公司商業智能平臺的研發工作；

2、參與公司商業智能平臺的升級改造工作，包括運維工作。

任職要求：

1、正規院校本科及以上學歷，軟件、計算機、通信、信息安全、網絡工程等相關專業；

2、良好的Java開發背景，熟悉Spring/MyBatis技術體系；

3、良好的SQL功底，熟悉MySQL或Oracle數據庫；

4、熟悉Linux；

5、了解開源Pentaho產品，包括PRD、Mondrian、SaiKu、Kettle等；

6、熟悉Hadoop、Hive、HBase、Storm、Spark等大數據平臺；

7、溝通能力強，有較強的學習能力，有較強的責任心與良好的團隊協作能力。