V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
wjx1993
V2EX  ›  Python

直播弹幕的爬虫,有人爬过吗?求指导一下啊

  •  1
     
  •   wjx1993 · 2018-04-18 00:03:54 +08:00 · 6093 次点击
    这是一个创建于 2393 天前的主题,其中的信息可能已经有所发展或是发生改变。

    直播平台: https://v.6.cn 爬取任意主播的房间的弹幕

    17 条回复    2018-04-18 22:24:13 +08:00
    Luckyray
        1
    Luckyray  
       2018-04-18 00:43:27 +08:00 via iPhone
    六间房的不清楚,其他几家的直播弹幕我记得是 socket,没法爬吧,你得截个包看看怎么建立连接。
    wzwwzw
        2
    wzwwzw  
       2018-04-18 02:11:22 +08:00
    点进去看了一下,结果发现是 HTTP 的请求。
    [![Snipaste_2018-04-18_02-10-35.png]( https://i.loli.net/2018/04/18/5ad638b1cc0a8.png)]( https://i.loli.net/2018/04/18/5ad638b1cc0a8.png)
    sean10
        3
    sean10  
       2018-04-18 04:11:51 +08:00 via Android
    github 上不少,记得有些是模拟发包请求弹幕的
    wjx1993
        4
    wjx1993  
    OP
       2018-04-18 07:02:41 +08:00 via Android
    @Luckyray 是的,socket 这块不太懂,求教一下👍
    wjx1993
        5
    wjx1993  
    OP
       2018-04-18 07:04:50 +08:00 via Android
    @sean10 没有这个平台的,有点麻烦
    fgodt
        6
    fgodt  
       2018-04-18 07:59:00 +08:00 via Android
    一般弹幕都是 websocket 和 socket 你要抓包看请求 找规律,然后想办法找到 key
    wjx1993
        7
    wjx1993  
    OP
       2018-04-18 08:09:22 +08:00 via Android
    @fgodt 抓包后看起来有点乱,看不太懂,所以没找到 key,求指导一二
    A555
        8
    A555  
       2018-04-18 09:18:32 +08:00
    @wjx1993 我记得好几年前 b 站是可以打包下载弹幕的,不知道这功能现在还有没有
    okzpy9425
        9
    okzpy9425  
       2018-04-18 09:20:14 +08:00
    websocket 或者自己再 socket 上封装的协议。

    https://github.com/zhao94254/rebuilt 这个是我用 go 写的,你可以参考下
    jijiwaiwai
        10
    jijiwaiwai  
       2018-04-18 09:21:55 +08:00
    pip install danmu
    wjx1993
        11
    wjx1993  
    OP
       2018-04-18 09:28:59 +08:00 via Android
    @jijiwaiwai 这个好像只有斗鱼的还可以运行
    fgodt
        12
    fgodt  
       2018-04-18 09:51:24 +08:00
    抓包用来看发包顺序,key 和加解密算法就需要你反编译一些官方的东西来找了,比如安卓、flash 等这就不深说了
    NotNil1
        13
    NotNil1  
       2018-04-18 09:55:22 +08:00
    有些平台是有开发协议的 ,不用爬,我记得比如熊猫直接有 API,你去官网看看.
    DeWhite
        14
    DeWhite  
       2018-04-18 10:41:04 +08:00 via Android
    模拟发包,然后弹幕出来然后过滤。
    wjx1993
        15
    wjx1993  
    OP
       2018-04-18 13:18:58 +08:00 via Android
    @ljtletters 我记得应该没有,没有找到
    wjx1993
        16
    wjx1993  
    OP
       2018-04-18 22:03:16 +08:00 via Android
    @okzpy9425 弹幕的礼物数量可以取到吗?我没找到,求解
    okzpy9425
        17
    okzpy9425  
       2018-04-18 22:24:13 +08:00
    @wjx1993 可以。有一个字段是礼物的。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1206 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 18:06 · PVG 02:06 · LAX 10:06 · JFK 13:06
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.