爬虫工程师
更新日期：2019-07-23
工作职责:
1、负责互联网站、网页、链接的特征挖掘；
2、提供分布式爬虫和数据采集系统的技术实现方案；
3、设计和开发分布式网络爬虫程序；
4、分析静态网页结构，解析网页数据，并把规则模块化，对数值数据、文本数据进行过滤，去重，结构化处理；
5、设计优化爬虫调度系统，优化调度策略；
6、有财经类数据爬取经验者优先。
备注：业务合作伙伴代招
任职资格:
1、全日制本科以上，计算机/软件工程相关专业，两年以上爬虫经验；
2、扎实的Java/Python基础，熟悉多线程编程环境，熟悉常见开源框架；
3、熟悉前端技术，HTML，JavaScript，Ajax等,协调定时任务调用爬虫模块；
4、熟练使用正则表达式，精通网页数据提取；
5、熟悉抓取原理及技术，熟悉Scrapy、Pyspider、nutch等主流爬虫框架使用；
6、具有构建分布式爬虫系统的经验，具有海量高并发网页爬取项目经验；
7、熟悉数据库操作、SQL语言与优化，了解ETL过程以及操作工具；
8、熟悉大数据数据库者优先；
9、喜欢技术钻研，具有较强的学习能力，有独立解决问题的能力；
10、富有责任心，有担当。
公司网址：http://www.e-tecsun.com/
公司地址：广州市天河区软件路15号第二层201室、三、四层(一照多址）
联系电话：020-29118786
广东德生科技股份有限公司成立于1999年8月，公司注册资本1.3334亿元，员工近1000人，是一家专注于人社领域，集研发、生产、销售于一体的高科技企业，也是行业内围绕社保卡全生命周期服务为主营模式的优质企业，客户遍及北京、天津、重庆、广州、南京、芜湖、沈阳、大连、江门等国内主要城市。
德生科技在社保卡数据采集及发行服务、制卡服务、省级发卡中心服务、即时补换卡、社保卡应用及密钥服务、PSAM卡管理、社保卡跨省应用检测、人社业务智能监控、多生物识别身份认证等方面有着丰富的经验，能为人社客户提供优质的解决方案和服务。公司已取得29项国家专利，100余项著作权，并先后荣获中国智能卡十强企业、广东省高新技术企业等殊荣，并多次获得国家智能卡领域最高奖——“金卡片奖-社保卡最佳供应商”和国家金卡工程优秀成果——“金蚂蚁奖”。
德生科技以“金融社保卡应用服务”为初心，十八年如一日深入服务于人社领域，顺应社保卡应用与发展方向，紧密结合行业的需求，深入研究如何发挥企业的主动性和创造性，提供优质的解决方案，支持民生工程的真正落地。先后为国内200余个地市提供社保（医保）卡和服务，拥有全方位服务能力和丰富的社保行业经验。