爬虫工程师(子公司)
更新日期:2019-07-11
工作职责:
1、负责互联网站、网页、链接的特征挖掘;
2、提供分布式爬虫和数据采集系统的技术实现方案;
3、设计和开发分布式网络爬虫程序;
4、分析静态网页结构,解析网页数据,并把规则模块化,对数值数据、文本数据进行过滤,去重,结构化处理;
5、设计优化爬虫调度系统,优化调度策略;
6、有财经类数据爬取经验者优先。
任职资格:
1、全日制本科以上,计算机/软件工程相关专业,两年以上爬虫经验;
2、扎实的Java/Python基础,熟悉多线程编程环境,熟悉常见开源框架;
3、熟悉前端技术,HTML,JavaScript,Ajax等,协调定时任务调用爬虫模块;
4、熟练使用正则表达式,精通网页数据提取;
5、熟悉抓取原理及技术,熟悉Scrapy、Pyspider、nutch等主流爬虫框架使用;
6、具有构建分布式爬虫系统的经验,具有海量高并发网页爬取项目经验;
7、熟悉数据库操作、SQL语言与优化,了解ETL过程以及操作工具;
8、熟悉大数据数据库者优先;
9、喜欢技术钻研,具有较强的学习能力,有独立解决问题的能力;
10、富有责任心,有担当。
公司网址:http://www.e-tecsun.com/
公司地址:广州市天河区软件路15号第二层201室、三、四层(一照多址)
联系电话:020-29118786
广东德生科技股份有限公司成立于1999年8月,公司注册资本1.3334亿元,员工近1000人,是一家专注于人社领域,集研发、生产、销售于一体的高科技企业,也是行业内围绕社保卡全生命周期服务为主营模式的优质企业,客户遍及北京、天津、重庆、广州、南京、芜湖、沈阳、大连、江门等国内主要城市。
德生科技在社保卡数据采集及发行服务、制卡服务、省级发卡中心服务、即时补换卡、社保卡应用及密钥服务、PSAM卡管理、社保卡跨省应用检测、人社业务智能监控、多生物识别身份认证等方面有着丰富的经验,能为人社客户提供优质的解决方案和服务。公司已取得29项国家专利,100余项著作权,并先后荣获中国智能卡十强企业、广东省高新技术企业等殊荣,并多次获得国家智能卡领域最高奖——“金卡片奖-社保卡最佳供应商”和国家金卡工程优秀成果——“金蚂蚁奖”。
德生科技以“金融社保卡应用服务”为初心,十八年如一日深入服务于人社领域,顺应社保卡应用与发展方向,紧密结合行业的需求,深入研究如何发挥企业的主动性和创造性,提供优质的解决方案,支持民生工程的真正落地。先后为国内200余个地市提供社保(医保)卡和服务,拥有全方位服务能力和丰富的社保行业经验。
广东德生科技股份有限公司
- 企业性质: 民营企业
- 业务范围: BPO
- 所属行业:计算机软件
- 公司地址:广州市天河区软件路15号第二层201室、三、四层(一照多址)
最近浏览的职位
- 爬虫工程师(子公司)2019-07-11