刚入坑, 尝试爬斗鱼练手. 卡在主播的关注数上了. 肯定是后期加载的, 但是翻遍了所有的 html/css/js/json...也没找到这个关注数是从哪来的.
比如下面这个主播(为了避免广告嫌疑, 就找个暴雪官方频道吧~~): http://www.douyu.com/t/blizzardtv
目前它的关注数是 640932, 但是我把所有文本类的请求结果都找了, 也没有找到 640932 这个值...
只发现了一点: 如果浏览器禁用 flash 的话, 这个关注数是出不来的. 难道和 flash 有关??
1
shiniv 2017-06-14 17:23:18 +08:00
这个数值是从弹幕服务器返回来的
|
2
Merlini 2017-06-14 17:24:34 +08:00 via Android
建议看看 github 上有没有人整理 api
|
3
whahuzhihao 2017-06-14 17:24:58 +08:00 1
斗鱼有公开的 json 接口啊,可以不从网页上抓数据。当然如果你是要练爬虫就没办法了。
|
4
Penton 2017-06-14 17:27:09 +08:00 1
《斗鱼第三方开放平台 API 文档 v2.1 》 http://dev-bbs.douyutv.com/forum.php?mod=viewthread&tid=113
|
6
tausi0661 OP @Penton @whahuzhihao 感谢了, 原来还有此等东西...
|
8
annielong 2017-06-14 18:08:07 +08:00
或者包没有抓全吧,有些数据是在不同 js 里面合成的
|
9
awolfly9 2017-06-14 20:07:11 +08:00 via Android
标记
|
10
Layoute 2017-06-14 23:12:49 +08:00 via iPhone
flash 不是没有可能,可以反编下 flash 看看
|
11
mingyun 2017-06-14 23:22:13 +08:00
调接口方便多了
|