1.负责分布式网络爬虫系统的架构设计与开发（如抓取调度，多样化抓取，页面解析和结构化抽取，海量数据存储和读取等）；负责数据的抓取、解析、清洗、入库；

2.设计和优化爬虫策略与算法,提升数据抓取效果；

3.设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量；

4.负责爬虫逻辑的开发，快速响应业务变动，并持续优化系统，提高系统的稳定性；

5.能够根据客户需求，进行需求分析，完成接口设计、详细设计以及相应的开发及测试任务。

岗位要求:

1. 计算机、软件工程等相关专业，2年以上爬虫开发经验，熟悉linux和Java开发，熟悉shell/perl/python等脚本语言，熟练掌握正则表达式。

2. 精通一种开源爬虫框架，如scrapy、webmagic、nutch、heritrix等，有开发爬虫框架经验优先；熟悉反爬虫、验证码识别技术者优先；熟悉网络编程（TCP、HTTP、Soket）有多线程、网络数据处理经验优先。

3. 学习能力强，具备良好的分析和解决问题能力，对技术抱有热情，愿意研究新技术。

4. 思维敏捷，逻辑清晰，有较强的分析和解决问题的能力。

5. 有数据清洗经验优先。

我们为您提供：

竞争力的薪酬：

岗位工资+午餐补贴+交通补贴+年终奖+优秀员工奖

完善的福利：

养老保险+医疗保险+工伤保险+失业保险+生育保险+公积金

员工假期：

周末双休+带薪年假+法定公众假期+婚假+产假+陪产假+病假等

个人发展及额外福利：

定制性的培训计划+不定期的内、外部培训

部门活动+不定期旅游+电影/英语沙龙+党支部活动+运动会+知识竞赛+每周羽毛球活动等

给予优秀员工出国培训学习的机会

公司提供咖啡、冰箱与微波炉，有专人为员工热饭

欢迎各有志之士与公司共创下一个辉煌十年！

       广州市西美信息科技有限公司是一家民营科技企业，成立于2009年，注册资本301万元，是广州地区最大的专注于物质关系数据搜索技术与应用、知识管理与应用的公司，在国内信息知识管理与应用研发行业中，产量及各项经济指标均名列前茅。公司位于广州市黄花岗科技园汇华商贸大厦，拥有1500平方米的办公场地，是一家集信息技术、电子商务、数据分析、软件开发等业务于一身的公司，致力于为不同行业的投资者以及企业提供世界一流的全球软件、数据分析、资讯提取等服务。涉及的行业侧重于农业、生命科学、化工能源等领域。