職位描述:職位描述:1、負責設計和開發分布式網絡爬蟲系統,進行多平臺信息的抓取和分析2、設計爬蟲策略和防屏蔽規則,提升網頁抓取的效率和質量3、負責網頁信息抽取、數據清洗等研發和優化工作4、負責抓取數據的深度提取和挖掘。任職要求:1、熟悉linux平臺開發,5年以上java開發經驗2、精通信息抓取和整合技術,從結構化的和非結構化的數據中獲取信息,掌握正則表達式3、熟悉多線程、多進程、網絡通信編程相關知識4、2年以上大規模網頁爬蟲開發經驗熟悉js,ajax,網頁消重5、能夠總結分析不同網站,網頁的結構特點及規律6、熟悉httpclient、htmlparser、jsoup、lucene、nutch中的一種或多種開源技術7、必須有分布式爬蟲架構經驗8、有通用/垂直/開放平臺/app領域爬蟲開發經驗優先9、熟悉mysql,oracle等數據庫應用,有nosql實際使用經驗者優先

篇2:網絡系統架構崗位職責網絡系統架構職責任職要求

網絡系統架構崗位職責

網絡系統集成架構師世紀互聯北京世紀互聯寬帶數據中心有限公司任職資格:任職資格:

1.良好的溝通技能,團隊協作能力

2.熟悉常用的互聯網開源技術,如負載均衡,反向代理,緩存,數據庫,存儲,CDN等

3.3年以上互聯網企業運維經驗,有具體項目實施經驗

4.熟悉TCP/IP,網絡運維,可以通過抓包分析,排查及優化網絡問題

5.熟悉主流網絡設備配置及調試

6.熟練使用腳本

7.思路開闊,創新能力強,對新技術持有敏感性

8.由內核編譯經驗優先

9.可以接受適度加班

工作職責:崗位職責:

1.基于Linux,規劃整體系統平臺架構設計(大數據量,高并發,高可用,災備等),參與需求分析,技術決策

2.優化現有系統性能,解決系統核心及關鍵問題

3.網絡優化及故障排查

4.知識庫及實施文檔撰寫及維護

5.分配的其他任務