• 外包信息请发到 /go/outsourcing 节点。
• 不要把相同的信息发到不同的节点
这是一个创建于 1268 天前的主题，其中的信息可能已经有所发展或是发生改变。
岗位职责：
1 、负责米哈游舆情系统、竞品分析等项目的数据爬取、解析、清洗、入库等日常工作；
2 、维护好日常爬取脚本的正常运作与规则的有效性；
3 、与大数据工程师对接，完成实时数据与离线数据的爬取与入库；
4 、持续优化系统提高系统的稳定性。
岗位要求：
1 、2 年及以上爬虫、反爬虫研发经验；
2 、精通 python 开发，熟悉使用 scrapy 、selenuim 等常用开源爬虫框架；
3 、熟悉 HTTP 协议、HTML 、DOM，并有一定的 JavaScript 能力；
4 、熟练使用 Xpath 、正则表达式或 Beautiful Soup 任一种解析框架；
5 、熟练使用 splash 、浏览器内核等工具解析动态页面；
6 、熟悉多线程、网络编程以及分布式爬虫架构开发场景；
7 、熟悉使用 Redis 和任意一种常见的分布式消息队列；
8 、熟练使用模拟登陆、UA 池、动态代理、IP 池等常规伪装手段；
9 、熟悉常规反爬虫手段以及常见的解决方案，有一定的逆向工程能力；
10 、有过爬取主流社区网站经验；
11 、熟悉解决去重、分类、垃圾过滤等问题更佳；
12 、熟练使用 Mysql，熟悉 Nosql 数据库等，有大数据开发相关经验更佳；
13 、本科或以上学历，计算机相关专业。
联系微信 base64: enk0NjAxNjAyMzE=
1 、负责米哈游舆情系统、竞品分析等项目的数据爬取、解析、清洗、入库等日常工作；
2 、维护好日常爬取脚本的正常运作与规则的有效性；
3 、与大数据工程师对接，完成实时数据与离线数据的爬取与入库；
4 、持续优化系统提高系统的稳定性。
岗位要求：
1 、2 年及以上爬虫、反爬虫研发经验；
2 、精通 python 开发，熟悉使用 scrapy 、selenuim 等常用开源爬虫框架；
3 、熟悉 HTTP 协议、HTML 、DOM，并有一定的 JavaScript 能力；
4 、熟练使用 Xpath 、正则表达式或 Beautiful Soup 任一种解析框架；
5 、熟练使用 splash 、浏览器内核等工具解析动态页面；
6 、熟悉多线程、网络编程以及分布式爬虫架构开发场景；
7 、熟悉使用 Redis 和任意一种常见的分布式消息队列；
8 、熟练使用模拟登陆、UA 池、动态代理、IP 池等常规伪装手段；
9 、熟悉常规反爬虫手段以及常见的解决方案，有一定的逆向工程能力；
10 、有过爬取主流社区网站经验；
11 、熟悉解决去重、分类、垃圾过滤等问题更佳；
12 、熟练使用 Mysql，熟悉 Nosql 数据库等，有大数据开发相关经验更佳；
13 、本科或以上学历，计算机相关专业。
联系微信 base64: enk0NjAxNjAyMzE=
 |
1
RLinux 2021-06-08 10:35:49 +08:00
现在都这么直接的吗~~
|
 |
2
paopjian 2021-06-08 10:36:55 +08:00
这是友商还是故意自黑的?这么直接
|
 |
3
chenxiansheng 2021-06-08 10:58:50 +08:00
这种是不是经常换，出事了背锅....
|
 |
4
luoqeng 2021-06-08 11:39:40 +08:00
出了事就是临时工干的
|
 |
5
feiniu 2021-06-08 13:02:42 +08:00
薪资都没？
|
Select Language