V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
• 外包信息请发到 /go/outsourcing 节点。
• 不要把相同的信息发到不同的节点
panda777
V2EX  ›  酷工作

寻一位高级网络爬虫与反反爬虫技术工程师

  •  
  •   panda777 · 3 天前 · 923 次点击
    🚀 高级网络爬虫与反反爬虫技术工程师
    ( Senior Web Scraping & Anti-Bot Engineer )

    📍 工作模式:100% 远程办公
🌎 工作地点: 全球范围内均可申请
💰 薪资范围: 每月 $3,200 至 $4,500 美元 (表现卓越的候选人可调整上线)

    🕵🏻‍♂️ 职位描述
    我们正在寻找一名经验丰富的高级网络爬虫与反爬虫工程师,擅长基于 Python 的网络爬取、反爬虫技术和数据整合。在此岗位上,您将负责开发和维护高性能、可扩展的爬虫系统,从航空公司和酒店网站获取重要的定价与会员数据。这些网站均受到高级反爬虫技术保护(例如 Akamai 、Kasada 、Cloudflare 、DataDome 、PerimeterX 等)。主要技术栈为 Python ,优先使用 AWS 云基础设施。

    🔴 必备要求
    • 熟练掌握高级 Python 网络爬虫工具和框架(如 Playwright 、Puppeteer 、Selenium 、Scrapy 等)。
    • 有成功绕过复杂反爬虫系统的经验(包括 Akamai 、Kasada 、Cloudflare 、DataDome 、PerimeterX 等)。
    • 精通代理技术、IP 轮换、浏览器指纹技术和 TLS 指纹技术等反屏蔽策略。
    • 能够设计并实现分布式、高性能的网络爬虫系统,以便并发地从多个来源获取数据。
    • 出色的英语沟通能力,能够顺利融入国际远程团队。
    • 具备从用户认证网站提取数据的实际经验,能够处理复杂的认证流程,包括 MFA/2FA 。

    🟢 优先考虑
    • 拥有 API 逆向工程( reverse-engineering ,如 GraphQL 、JSON API 等)的相关经验。
    • 熟悉网络流量捕获与分析工具(如 mitmproxy 、Burp Suite 等)。
    • 了解事件驱动架构和消息系统(如 Kafka 、RabbitMQ )。
    • 熟悉 AWS 云服务和基础设施。

    加入我们的国际团队,一起重新定义旅游和会员领域的数据聚合方式

    有意者请直接发送简历(英文版更加)至下方地址:
    ZGFuaWVsQG5pdXJvLmlv
    1 条回复    2025-02-28 16:17:13 +08:00
    wmm1996528
        1
    wmm1996528  
       3 天前
    我就是做航司的 但是英语不好
    Akamai 、Kasada 、Cloudflare 这三个都做过
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2792 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 15:07 · PVG 23:07 · LAX 07:07 · JFK 10:07
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.