采集工程師崗位職責

崗位職責:

1、負責整理/調研互聯網數據的可采集性及其可采數據范圍,并運營和維護公司數據中心;

2、負責設計/調優分布式爬蟲系統架構及其采集源數據庫,含分布式爬蟲/數據導出導入/數據傳輸接收等模塊;

3、負責開發/維護Java爬蟲和配置/維護采集腳本,進行數據的抓取/識別/解析/提取/分類/去重/清洗/關聯/整合/分析/入庫;

4、負責設計/調優策略和算法(如下載策略/調度算法/防屏蔽規則等),提升網頁抓取的效率和質量;

5、負責日常跟蹤數據抓取和傳輸,監控爬蟲系統狀態,保證數據抓取/傳輸的及時準確;

6、負責制定數據采集標準,編寫修訂相關文檔,推進組內軟件開發標準的建立及執行;

任職要求:

1、精通互聯網數據采集,如網絡爬蟲技術等的機制和原理;

2、精通Python或Java,熟悉多線程編程、網絡通信編程和分布式數據處理,熟悉各種常用的文本處理工具集/科學計算工具包/機器學習數據挖掘工具包;

3、精通Scrapy或其他爬蟲框架源碼,可搭建分布式爬蟲系統,并可基于其做智能爬蟲開發;

4、熟悉MySQL、Oracle、HBase等主流數據庫并熟練使用其中的一種,編寫SQL語句和存儲過程或shell;

5、三年及以上數據采集相關工作經驗,有過社交數據采集及驗證碼識別開發經驗者優先;;

6、有過大型項目垂直搜索引擎設計或智能爬蟲(機器學習)開發經驗者優先.

采集工程師崗位

篇2:數據采集工程師（核心層）職位描述與崗位職責任職要求

職位描述：

職責描述：

1.負責Linux平臺下應用軟件開發，根據產品與項目要求，開展模塊設計.編碼等工作；

2.負責linux軟件的交叉編譯與移植；

3.參與需求分析.軟件設計.開發.調試以及測試維護全過程；

4.負責協同硬件工程師或第三方方案商完成系統功能模塊的聯調及功能對接.接口文文件輸出；

5.負責嵌入式系統軟件平臺搭建工作；

任職要求：

1.本科（含）以上學歷，熟悉Linux開發環境，熟悉C/C++或Python等；

2.熟悉嵌入式Linux+QT應用程序圖形接口開發；

3.了解網絡編程.多進程，多線程，熟悉MQTT/SOCKET，TCP/IP等通訊協議；

4.有ARM.MIPS系列產品開發經驗優先；

5.具有較好的溝通能力.團隊合作能力；

篇3:數據采集工程師（核心層）職位描述與崗位職責任職要求

職位描述：

職責描述：

1.嵌入式bootloader,kernel開發；

2.工業通訊協議解析(Modbus.EtherCAT.ProfitNet等)；

3.Windows/Linux平臺網關應用層程序開發；

4.網關產品的軟件功能測試驗證；

5.工業網關產品軟件SDK及Library開發。

任職要求：

1.本科（含）以上學歷，熟練使用辦公軟件；

2.熟練運用C/C++開發語言；

3.熟悉工業現場數據傳輸協議；

4.熟悉Windows.Linux開發平臺；

5.性格開朗，邏輯思維較強。