这是一个创建于 33 天前的主题,其中的信息可能已经有所发展或是发生改变。
🚀 高级网络爬虫与反反爬虫技术工程师
( Senior Web Scraping & Anti-Bot Engineer )
📍 工作模式:100% 远程办公
🌎 工作地点: 全球范围内均可申请
💰 薪资范围: 每月 $3,200 至 $4,500 美元 (表现卓越的候选人可调整上线)
🕵🏻♂️ 职位描述
我们正在寻找一名经验丰富的高级网络爬虫与反爬虫工程师,擅长基于 Python 的网络爬取、反爬虫技术和数据整合。在此岗位上,您将负责开发和维护高性能、可扩展的爬虫系统,从航空公司和酒店网站获取重要的定价与会员数据。这些网站均受到高级反爬虫技术保护(例如 Akamai 、Kasada 、Cloudflare 、DataDome 、PerimeterX 等)。主要技术栈为 Python ,优先使用 AWS 云基础设施。
🔴 必备要求
• 熟练掌握高级 Python 网络爬虫工具和框架(如 Playwright 、Puppeteer 、Selenium 、Scrapy 等)。
• 有成功绕过复杂反爬虫系统的经验(包括 Akamai 、Kasada 、Cloudflare 、DataDome 、PerimeterX 等)。
• 精通代理技术、IP 轮换、浏览器指纹技术和 TLS 指纹技术等反屏蔽策略。
• 能够设计并实现分布式、高性能的网络爬虫系统,以便并发地从多个来源获取数据。
• 出色的英语沟通能力,能够顺利融入国际远程团队。
• 具备从用户认证网站提取数据的实际经验,能够处理复杂的认证流程,包括 MFA/2FA 。
🟢 优先考虑
• 拥有 API 逆向工程( reverse-engineering ,如 GraphQL 、JSON API 等)的相关经验。
• 熟悉网络流量捕获与分析工具(如 mitmproxy 、Burp Suite 等)。
• 了解事件驱动架构和消息系统(如 Kafka 、RabbitMQ )。
• 熟悉 AWS 云服务和基础设施。
加入我们的国际团队,一起重新定义旅游和会员领域的数据聚合方式
有意者请直接发送简历(英文版更加)至下方地址:
ZGFuaWVsQG5pdXJvLmlv
2 条回复 • 2025-03-06 10:04:06 +08:00
 |
|
1
wmm1996528 33 天前
我就是做航司的 但是英语不好 Akamai 、Kasada 、Cloudflare 这三个都做过
|