岗位职责

1. 负责传统网页和微博及SNS网站信息高效采集与正确解析;

2. 负责网页爬虫架构设计与核心技术研发;

3. 负责互联网资源的特征挖掘，主要对网页特征、站点结构、资源变化趋势等进行数据分析和特征建模;

4.设计策略和算法，提升网页抓取的效率和质量，进一步解决系统的网页排重、垃圾控制、资源划分等问题;

5.负责五征集团网络爬虫平台的维护工作.

任职要求

1. 有三年以上软件设计与开发经验;

2. 精通Java语言编程，熟悉linux平台;熟悉XML、JSON、SOAP协议;

3. 精通网页爬虫、分布式、多线程开发技术者优先;

4. 有搜索相关领域如网页抓取/解析、信息挖掘、统计分析等研发经验者优先;

5. 具有很强的分析和解决问题的能力，攻克难题的强烈兴趣，善于学习。

直接应聘

应聘山东五征集团有限公司 大数据开发高级工程师-网络爬虫方向 自我介绍：

获取验证码

提交