用的手机热点上网速度大概 0.5Mbps 不到,很卡,不知道是不是因为网速的原因还是 b 站改了? 浏览器是 chrome 操作系统为 window7 64
1
yellowtail OP 用网页元素找到了,接着打算仿照罗攀的那本书的例子做。但是好奇,为什么我的浏览器可以一直接收弹幕,爬虫就用 timesleep...有什么好的理解吗
|
2
nlysh007 2018-11-20 09:16:27 +08:00
直播弹幕不是 websocket 么...
|
3
smallQ 2018-11-20 10:32:31 +08:00
弹幕一般是 websocket 吧,,在 WS 那一栏里面看下
|
4
no1xsyzy 2018-11-20 10:34:34 +08:00
@nlysh007 直播弹幕怎么说都是 SSE 更好吧,真用 WebSocket 做吗?而且 SSE 防爬虫也更舒服,很多 python 爬虫并不会做 SSE 适配( select/epoll ),消耗资源比服务器还大。
|
5
yellowtail OP @no1xsyzy 哥哥们 msg 文件现在还能找到吗 想实现一个实时和弹幕互动的程序
|
6
no1xsyzy 2018-11-21 16:04:12 +08:00
|
7
kr380709959 2018-11-22 15:56:52 +08:00 1
@no1xsyzy b 站以前有弹幕接口,后来被人玩坏了就关闭了。内部有,但是没开放。
另外,我之前也考虑过爬取 b 站直播的弹幕和人数,后来发现是通过 websocket 来通信的,这个就有点头疼了。建议用 charles 抓 websocket 接口试试看。 |
8
xjbeta 2018-11-23 11:36:07 +08:00 1
github 搜索 "wss://broadcastlv.chat.bilibili.com/sub" 能找到不少参考项目
https://github.com/search?l=Python&q=wss%3A%2F%2Fbroadcastlv.chat.bilibili.com%2Fsub&type=Code 具体的原理参考 https://wuyin.io/2018/03/31/bilibili-live-crawler-and-auto-edit-recording/ 大致就是连接 websocket 发一段带着房间号的 json 然后就能收到弹幕和礼物的信息了 30 秒一次心跳包 |
9
yellowtail OP @xjbeta
1 爬取弹幕中股票代码 按时间序列保存在数据库 2 九点二十五开始统计投票 九点三十结束 实时显示前八票数 按照投票数量比得到前八股票代码比例 买对应股票并建立对应比例仓位 持有十五分钟以后清仓 3 重复 2 到 11 点 30 停止,一点到三点继续 麻烦问下,做个这样的程序大概需要多少钱啊 |