V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
ahhhhhh888
V2EX  ›  程序员

APP 非抓包数据爬取方案征集

  •  
  •   ahhhhhh888 · 339 天前 · 4138 次点击
    这是一个创建于 339 天前的主题,其中的信息可能已经有所发展或是发生改变。
    • 需求:爬取封闭 APP 中的公开数据,比如微信内公众号的数据、朋友圈数据、美团内的商家数据等。
    • 问题:这些数据场景的共同特征是无法通过 HTTPS 抓包的方式获取,且相关 APP 都没有开放可以爬取的 H5 页面,或 H5 版本的页面信息不足。
    • 方案:
      1. 通过 Appium 抓取(方案待实践验证);
      2. 通过自动脚本录屏后,由 AI 根据特征对进行视频内画面信息提取实现数据爬取(尚未发现此类工具)。

    针对这两个方案,有建议或其他思路,恳请赐教。🌹🌹🌹

    10 条回复    2023-12-06 03:16:39 +08:00
    q11391
        1
    q11391  
       339 天前 via iPhone
    怎么可能抓不了包
    Gilmty
        2
    Gilmty  
       339 天前
    微信 MMTLS ,美团 TCP
    tool2d
        3
    tool2d  
       339 天前
    @q11391 抓了也没用,好一点 APP 大部分都是流量加密的,你还要去破解。

    有这功夫,不如写点 OCR 脚本识别文字靠谱。
    x86
        4
    x86  
       339 天前
    截屏再 ORC
    dapang1221
        5
    dapang1221  
       339 天前
    root 了么,用 frida 加 hook ,或者去内存里捞吧
    owen800q
        6
    owen800q  
       338 天前 via iPhone
    @dapang1221 現在新的 app 大部分都是 flutter, 沒法用 frida hook dart
    ming61177
        7
    ming61177  
       338 天前
    autoxjs + clip 技术
    luzihang
        8
    luzihang  
       338 天前   ❤️ 1
    实现过,运行半年没什么问题。airtest+阿里云手机+百度飞桨 ocr+自己代码调度整体流程
    ahhhhhh888
        9
    ahhhhhh888  
    OP
       338 天前
    @luzihang #8 这个不错,赞!
    capehorn
        10
    capehorn  
       338 天前
    App 爬虫 Android 无障碍爬即可。 联系我 linode16
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3323 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 00:39 · PVG 08:39 · LAX 16:39 · JFK 19:39
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.