網絡爬蟲崗位職責

工作內容:負責小程序搜索爬蟲系統的建設,包括小程序爬蟲策略的開發,分布式爬蟲系統的建設,數據分析及處理等,為小程序搜索提供豐富優質的基礎數據。

任職要求:

職位要求:

具備良好的計算機基礎,熟悉http協議,具備良好的基礎前端知識;

有過良好的高并發系統的后臺開發經驗;

具備一定的數據處理/分析經驗,熟悉hadoop、MapReduce、Spark等并行計算框架;

了解小程序的基礎框架,有實際開發經驗更優;

掌握C/C++、Python等一門或多門語言,有nodejs開發經驗更優;

如果您還具備以下技能,我們會優先考慮:

具備網絡爬蟲系統的開發經驗,有反爬蟲實踐經驗;

具備機器學習框架的開發使用經驗;

熟悉傳統搜索引擎的SEO規則。

篇2:網絡爬蟲崗位職責網絡爬蟲職責任職要求

網絡爬蟲崗位職責

工作內容:負責小程序搜索爬蟲系統的建設,包括小程序爬蟲策略的開發,分布式爬蟲系統的建設,數據分析及處理等,為小程序搜索提供豐富優質的基礎數據。

任職要求:

職位要求:

具備良好的計算機基礎,熟悉http協議,具備良好的基礎前端知識;

有過良好的高并發系統的后臺開發經驗;

具備一定的數據處理/分析經驗,熟悉hadoop、MapReduce、Spark等并行計算框架;

了解小程序的基礎框架,有實際開發經驗更優;

掌握C/C++、Python等一門或多門語言,有nodejs開發經驗更優;

如果您還具備以下技能,我們會優先考慮:

具備網絡爬蟲系統的開發經驗,有反爬蟲實踐經驗;

具備機器學習框架的開發使用經驗;

熟悉傳統搜索引擎的SEO規則。

篇3:網絡爬蟲工程師職位描述與崗位職責任職要求

職位描述：

職責描述：

1，負責網絡爬蟲系統的設計與開發

2，對爬取的網頁信息進行數據抽取，清洗和去重等工作

任職要求：

1、2年及以上網絡爬蟲開發經驗，本科及大專學歷，計算機相關專業,

2、積極、溝通順暢，工作認真負責

3、扎實的編程能力，熟悉常用算法和數據結構等基礎知識

4、熟練掌握開發語言Java或C/C++，熟悉腳本語言和正則表達式