V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
misaka0002
V2EX  ›  Python

理论上是一个简单 app 抓包,但总是抓不到特定的图片,求助 V2 大神

  •  
  •   misaka0002 · 2020-11-02 03:34:50 +08:00 · 3920 次点击
    这是一个创建于 1467 天前的主题,其中的信息可能已经有所发展或是发生改变。
    目标 app:网易云音乐 - 因乐交友

    抓包工具用的 Fiddler,安卓模拟器用的网易 Mumu ;
    例行设置 wifi 代理,安装 ssl 证书,然后打开 app,也抓到了很多东西,包括广告图片、用户图片、专辑图片,没什么难度;

    但抓取里面的「因乐交友」小程序的图片时,Fiddler 毫无反应;
    也考虑是不是程序预先加载了,但连续翻了好几十页,Fiddler 也都没反应;

    换过 Charles 来抓,失败;
    使用 Drony,ProxyDroid 全局代理,失败;

    我一度甚至怀疑图片是不是用了什么特殊的协议来传输的;

    最后用 PacketCapture 抓到了,发现就是简单的 HTTP ???
    甚至把链接复制到浏览器里就能直接打开;


    ……那为何 Fiddler 抓不到?太神秘了

    但 PacketCapture 有个问题,抓包结果只能在手机端看,无法和 PC 联动,很不方便。
    还是希望哪位大神能找到什么方法,可以用 Fiddler 抓到。


    --------------
    [后续]
    Fiddler 挂了一段时间,发现能探测到因乐交友保存图片的域名,但是返回失败。白丝不得骑姐。
    再次求助 V2 大神指点迷津
    18 条回复    2020-11-03 14:40:07 +08:00
    misaka0002
        1
    misaka0002  
    OP
       2020-11-02 03:45:10 +08:00
    xchaoinfo
        2
    xchaoinfo  
       2020-11-02 08:17:16 +08:00 via Android
    443, 会不会是证书的问题,在手机浏览器访问其他 https 链接测试了吗?
    VHacker1989
        3
    VHacker1989  
       2020-11-02 08:20:49 +08:00
    ssl pinning
    hitaoguo
        4
    hitaoguo  
       2020-11-02 08:26:23 +08:00
    iPhone + Charles 成功
    wushigejiajia01
        5
    wushigejiajia01  
       2020-11-02 08:41:52 +08:00
    我用 fiddler 时,手机就一直无法连接网络

    网上找了一堆方法, 都没用
    wushigejiajia01
        6
    wushigejiajia01  
       2020-11-02 08:42:35 +08:00
    用 Charles 时, 返回值全是乱码, 也没法看

    根据网上找到的方法设置, 也没用

    ε=(´ο`*)))唉
    cheng6563
        7
    cheng6563  
       2020-11-02 08:47:26 +08:00 via Android
    APP 可以强制不走代理,fiddler 就抓不到
    krapnik
        8
    krapnik  
       2020-11-02 08:51:29 +08:00
    Rules-Hide Image Requests
    lvming6816077
        9
    lvming6816077  
       2020-11-02 08:58:38 +08:00
    看样子是证书没装成功,另外 Android 9 或 10 的私有证书安装是比较麻烦的
    datou
        10
    datou  
       2020-11-02 09:54:24 +08:00
    @lvming6816077 模拟器一般都是 Android4.x 和 5.0
    locoz
        11
    locoz  
       2020-11-02 09:59:33 +08:00
    能看到建立连接的包但没有后续的话,就是证书问题啊。
    建议先确认一下打开个网页啥的看能不能正常抓到 HTTPS 包,排除掉证书没装好的问题,理论上来讲如果 APP 没玩骚操作的话,你 VPN 抓包能抓到、不出证书错误的东西,走代理也不会有啥问题。
    如果 APP 玩骚操作了的话,可能就是检测是否有设置代理,有的话就启用 SSL Pinning 、双向证书验证啥的...但是这没啥意义,感觉不会有这么落智的操作。
    locoz
        12
    locoz  
       2020-11-02 10:06:04 +08:00
    @wushigejiajia01 #5 无法连接网络的原因很多,比如可能是代理服务器没开好对局域网开放、设置代理时填错了 IP 或端口、证书没有正常装上,又或者干脆就是 APP 做了检测而已。“无法连接网络”这种说法最好是确定到具体的情况,比如“APP 显示无法连接网络”。

    @wushigejiajia01 #6 返回值全是乱码的原因也有很多,证书没装好的情况下看 HTTPS 包是乱码、APP 对包的内容做了压缩也是乱码、APP 对包的做了加密也是乱码。同样,这种说法也最好是确定到具体的情况,比如“HTTP Response 里的东西是乱码”。
    wushigejiajia01
        13
    wushigejiajia01  
       2020-11-02 10:15:55 +08:00
    @locoz
    1. IP 端口 证书 都设置正确, 手机所有软件就都是无法联网了

    2. 出参跟入参都是乱码....

    大佬求助

    T.T
    geebos
        14
    geebos  
       2020-11-02 10:28:05 +08:00
    locoz
        15
    locoz  
       2020-11-03 11:23:53 +08:00
    @wushigejiajia01 那应该就是你 IP 、端口、证书或者代理服务器的设置有问题导致的,检查一下吧
    misaka0002
        16
    misaka0002  
    OP
       2020-11-03 12:51:19 +08:00
    @xchaoinfo #2
    @locoz #11

    抱歉又打扰各位,我又检查了一下,证书是 OK 的,在 APP 主页面可以解析出 http 和 https,唯独进入那个类似小程序的 因乐交友 页面就解析不出来(包括图片和流媒体 都没有反应)。

    现在问题是:
    1. 证书正常;
    2. 可以肯定,这里的图片对应的传输协议是 HTTP,其实也用不到证书;
    3. APP 其他地方的图片都可以抓,唯独这里抓不到;
    4. 用过 proxyDroid 强行定向,无效。此时内容也都可以正常加载,没有终止连接,因此也不像是 ssl ping ;


    模拟器用的 Android 5 。
    那个对应的图片域名 lovemusic.nos-jd.163yun.com 在 Fiddler 中 基本上是 不出现的,很偶尔的情况会出现一两次,也不清楚原因。




    misaka0002
        17
    misaka0002  
    OP
       2020-11-03 12:57:26 +08:00
    @krapnik Fiddler 没有开过滤规则
    misaka0002
        18
    misaka0002  
    OP
       2020-11-03 14:40:07 +08:00
    ======后续======

    结合 Drony 最终抓到了图片。但这次显示又是 HTTPS…… -_-|||



    之前也试过 Drony,没成功的原因可能是设置问题。我按照下面链接里的设置最后成功了。
    https://www.jianshu.com/p/75b3ad732183
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5483 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 01:33 · PVG 09:33 · LAX 17:33 · JFK 20:33
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.