这是一个创建于 1413 天前的主题,其中的信息可能已经有所发展或是发生改变。
职位描述
1 、参与 APP 爬虫项目的架构设计、研发工作,改进和提升爬虫效率,对反反爬虫技术难点攻坚;
2 、设计爬虫策略及系统监控,提升抓取效率和稳定性,参与分布式爬虫和数据采集系统的架构设计和开发
3 、解决各类技术疑难问题,以及日常维护工作
4 、分析结构化和非结构化数据,并对数据抓取、信息提取、去重、清洗
任职资格:
岗位要求:
1 、计算机相关专业本科及以上学历,3 年以上工作经验,二年以上 IOS 或者 Android 开发经验
2 、熟练掌握 Python 并了解 Java 、NodeJS 、Java Script 三种语言任意一种;
3 、丰富的电商数据爬取经验,熟悉各类反爬虫和反反爬虫策略(如模拟登录,IP 问题,动态加载,重定向,数字加密,JavaScript 反爬,爬虫策略,防屏蔽规则,App 爬取,验证码识别等),并有丰富的反反爬虫实战经验
4 、精通网页抓取原理及技术,精通正则表达式,熟练从结构化和非结构化的数据中获取信息,精通一种开源爬虫框架,如 scrapy 、webmagic 、nutch 、heritrix 等等,有开发爬虫框架经验优先;
5 、善于独立分析并解决核心问题;
6 、对爬虫有浓厚的兴趣,责任感强,有较好的交流沟通能力和团队合作能力
加分项:
1 、大规模分布式爬虫开发经验、数据分析、机器学习建模能力
2 、有成功搭建过自动化采集集群者优先;
3 、熟悉搜索引擎和个性化相关的机器学习算法相关技术,精通主流分词算法、分类、提取摘要、大 规模网页聚类、索引、检索等相关开发经验者优先
4 、有 appium/stf 群控技术经验的优先,有 APP 安全、逆向等领域经验的优先
我的微信 MTU5MjEyNzk2MDA=
3 条回复 • 2021-02-27 22:25:14 +08:00
|
|
1
Currybro 2021-01-12 16:45:26 +08:00
逆向,爬虫,反爬都可以
|
|
|
2
SD10 2021-01-13 08:49:24 +08:00 via iPhone
贵司的广告蛮多的,总共没几站地跌, 都是去叮咚买菜的请从几号口...😂
|
|
|
3
rodrick 2021-02-27 22:25:14 +08:00
贵司大小周么?平时加班多么
|