爬虫工程师

爬虫工程师

【职责描述】

1. 负责多平台信息爬取和页面内容的提取分析,研究各种网站、网页、链接的形态，发现它们的特点和规律；

2. 设计各种策略和算法，提升爬虫的抓取效果,优化抓取策略，充分利用带宽资源，避免限制；

3. 分析爬虫系统的技术缺陷，对策略架构做出合理地调整和改进；

4. 负责爬虫系统的升级和维护,抓取调度和抓取行为反馈。

【职位要求】

1. 实际爬虫开发、内容提取工作经验；

2. 精通网页抓取原理及技术，精通正则表达式，从结构化的和非结构化的数据中获取信息；

3. 能独立解决实际开发过程碰到的各类问题，对数据结构和算法设计有较为深刻的理解；

4. 精通C/C++/Java语言中至少一种，熟悉linux平台、shell编程、常用脚本语言python/php等；

5. 熟悉爬虫框架，有过海量数据爬取经验者优先，有3年以上爬虫开发经验者优先；

6. 精通Linux命令、脚本编写者优先；

7. 熟悉MySQL/MongoDB/Hadoop/Hive/HBase等平台者优先；

8. 有流式计算、海量数据存储经验者优先；

9. 有搜索相关领域如网页抓取、解析/信息挖掘/统计分析工作经验者优先；

10. 具有良好的沟通能力，和良好的团队合作精神。