首页
注册
登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请
登录
• 外包信息请发到
/go/outsourcing
节点。
• 不要把相同的信息发到不同的节点
V2EX
›
酷工作
寻一位高级网络爬虫与反反爬虫技术工程师
panda777
·
3 天前
· 923 次点击
🚀 高级网络爬虫与反反爬虫技术工程师
( Senior Web Scraping & Anti-Bot Engineer )
📍 工作模式:100% 远程办公 🌎 工作地点: 全球范围内均可申请 💰 薪资范围: 每月 $3,200 至 $4,500 美元 (表现卓越的候选人可调整上线)
🕵🏻♂️ 职位描述
我们正在寻找一名经验丰富的高级网络爬虫与反爬虫工程师,擅长基于 Python 的网络爬取、反爬虫技术和数据整合。在此岗位上,您将负责开发和维护高性能、可扩展的爬虫系统,从航空公司和酒店网站获取重要的定价与会员数据。这些网站均受到高级反爬虫技术保护(例如 Akamai 、Kasada 、Cloudflare 、DataDome 、PerimeterX 等)。主要技术栈为 Python ,优先使用 AWS 云基础设施。
🔴 必备要求
• 熟练掌握高级 Python 网络爬虫工具和框架(如 Playwright 、Puppeteer 、Selenium 、Scrapy 等)。
• 有成功绕过复杂反爬虫系统的经验(包括 Akamai 、Kasada 、Cloudflare 、DataDome 、PerimeterX 等)。
• 精通代理技术、IP 轮换、浏览器指纹技术和 TLS 指纹技术等反屏蔽策略。
• 能够设计并实现分布式、高性能的网络爬虫系统,以便并发地从多个来源获取数据。
• 出色的英语沟通能力,能够顺利融入国际远程团队。
• 具备从用户认证网站提取数据的实际经验,能够处理复杂的认证流程,包括 MFA/2FA 。
🟢 优先考虑
• 拥有 API 逆向工程( reverse-engineering ,如 GraphQL 、JSON API 等)的相关经验。
• 熟悉网络流量捕获与分析工具(如 mitmproxy 、Burp Suite 等)。
• 了解事件驱动架构和消息系统(如 Kafka 、RabbitMQ )。
• 熟悉 AWS 云服务和基础设施。
加入我们的国际团队,一起重新定义旅游和会员领域的数据聚合方式
有意者请直接发送简历(英文版更加)至下方地址:
ZGFuaWVsQG5pdXJvLmlv
Python
Web Scraping
anti-bot
1 条回复
•
2025-02-28 16:17:13 +08:00
1
wmm1996528
3 天前
我就是做航司的 但是英语不好
Akamai 、Kasada 、Cloudflare 这三个都做过
关于
·
帮助文档
·
博客
·
API
·
FAQ
·
实用小工具
·
2792 人在线
最高记录 6679
·
Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 22ms ·
UTC 15:07
·
PVG 23:07
·
LAX 07:07
·
JFK 10:07
Developed with
CodeLauncher
♥ Do have faith in what you're doing.