高級爬蟲開發工程師職責描述:

1、負責公司產品的爬蟲架構設計與開發,以及爬蟲策略優化等工作;

2、根據數據產品需求,負責對網頁等大規模文本數據抓取、清洗、存儲等設計開發工作;

任職要求:

1、計算機、數學或統計等相關專業本科及以上學歷,1年以上爬蟲相關工作經驗;

2、熟悉linux平臺,熟練掌握Python或JAVA爬蟲開發工作;

3、熟悉靜態、動態網頁等大規模文本數據的高效信息抽取、清洗、存儲等技術;

4、有反爬相關問題處理經驗,精通常用的爬蟲技術及架構設計,并能快速開發實現;

5、具備良好的編程習慣和算法基礎;

6、善于學習,熱愛技術開發,善于團隊協作,能積極主動地參與公司產品研發等相關工作。職責描述:

1、負責公司產品的爬蟲架構設計與開發,以及爬蟲策略優化等工作;

2、根據數據產品需求,負責對網頁等大規模文本數據抓取、清洗、存儲等設計開發工作;

任職要求:

1、計算機、數學或統計等相關專業本科及以上學歷,1年以上爬蟲相關工作經驗;

2、熟悉linux平臺,熟練掌握Python或JAVA爬蟲開發工作;

3、熟悉靜態、動態網頁等大規模文本數據的高效信息抽取、清洗、存儲等技術;

4、有反爬相關問題處理經驗,精通常用的爬蟲技術及架構設計,并能快速開發實現;

5、具備良好的編程習慣和算法基礎;

6、善于學習,熱愛技術開發,善于團隊協作,能積極主動地參與公司產品研發等相關工作。

篇2:網絡爬蟲崗位職責網絡爬蟲職責任職要求

網絡爬蟲崗位職責

工作內容:負責小程序搜索爬蟲系統的建設,包括小程序爬蟲策略的開發,分布式爬蟲系統的建設,數據分析及處理等,為小程序搜索提供豐富優質的基礎數據。

任職要求:

職位要求:

具備良好的計算機基礎,熟悉http協議,具備良好的基礎前端知識;

有過良好的高并發系統的后臺開發經驗;

具備一定的數據處理/分析經驗,熟悉hadoop、MapReduce、Spark等并行計算框架;

了解小程序的基礎框架,有實際開發經驗更優;

掌握C/C++、Python等一門或多門語言,有nodejs開發經驗更優;

如果您還具備以下技能,我們會優先考慮:

具備網絡爬蟲系統的開發經驗,有反爬蟲實踐經驗;

具備機器學習框架的開發使用經驗;

熟悉傳統搜索引擎的SEO規則。

篇3:網絡爬蟲工程師職位描述與崗位職責任職要求

職位描述：

職責描述：

1，負責網絡爬蟲系統的設計與開發

2，對爬取的網頁信息進行數據抽取，清洗和去重等工作

任職要求：

1、2年及以上網絡爬蟲開發經驗，本科及大專學歷，計算機相關專業,

2、積極、溝通順暢，工作認真負責

3、扎實的編程能力，熟悉常用算法和數據結構等基礎知識

4、熟練掌握開發語言Java或C/C++，熟悉腳本語言和正則表達式