最近看到了几个 pc 端可以看抖音、火山、快手的网站, 就好比这个网站: https://kuaiyinshi.com/#video-pannel
有没有大佬知道数据是怎么爬来的,官网都没有提供啊
1
mht 2018-07-02 13:30:31 +08:00 via iPhone
抓包?
|
3
siyemiaokube 2018-07-02 13:38:07 +08:00 via iPhone
这东西见光死吧。。。
|
4
tingyunsay 2018-07-02 13:38:15 +08:00
得逆向,ida 动态调试,解密,抖音的 feed 流加密步骤还是挺多的,如果走检索直接抓包,但是没有验证 token 是否有时效性(貌似是有)
|
5
jimmyczm 2018-07-02 15:54:19 +08:00
appnium 应该可以看得到吧?
|
6
mrant OP @siyemiaokube 我看这个网站做的蛮大的
|
7
mrant OP @tingyunsay 这么复杂,脚本能搞定吗
|
9
xomix 2018-07-02 16:24:29 +08:00 1
@mrant 一般这种有个更简单的办法,找个人流大的地方挂个免费 wifi,然后拿日志爬一下就行了,刷的事连过来的用户就做完了。
|
10
tingyunsay 2018-07-02 16:25:59 +08:00
@mrant 代码肯定是脚本能搞定的,但是过程嘛,得用到很多软件去调试。
实在不行可以用台手机模拟人去点击,获取点击的那个 url,一段时间之内的数据肯定是有效的,url 有时效性,但是就是慢 |
11
sjzjams 2018-07-02 16:26:04 +08:00
|
12
sjzjams 2018-07-02 16:26:39 +08:00
从他们网站查看视频请求,视频资源规律是什么样的
|
13
V392920 2018-07-02 16:31:49 +08:00
之前逆向过抖音,里面的算法确实很多!但是那都是需要做登录操作才涉及到那些算法,如果只是抓视频的话,好像用不上那些加密算法,也是好几个月前的事了,现在抖音估计也都加强改版了很多了!
|
16
tianakong 2018-07-02 17:00:15 +08:00 1
你就爬这个站的
|
17
mosade 2018-07-02 17:30:54 +08:00
|
18
mosade 2018-07-02 17:32:32 +08:00 1
|
19
nicevar 2018-07-02 17:44:13 +08:00
@mrant 手动触发用 python 写个脚本模拟人工操作就行了,类似之前的微信跳一跳外挂
加密的话如果 so 库没有加壳之类的加固处理还是很好分析的 |
20
sampeng 2018-07-02 19:05:06 +08:00
几千工人工在工厂里拿着手机一直刷刷刷。按刷新量结算。。抖个机灵就跑
|
21
zke1e 2018-07-02 20:30:48 +08:00
这种算违法了
|
22
akira 2018-07-02 21:07:15 +08:00
1. 分析 api 接口,然后写代码模拟请求
2. 模拟点击,抓取封包后分析。上足够数量的设备 一直在刷新就可以了。// 国内几千几万台手机的工作室还是有不少的。 |
23
1762628386 2018-07-02 21:07:27 +08:00
@sampeng ~ 还不够工人💰
|
24
weiyufen520 2018-07-03 08:31:35 +08:00
网上很多这种方法了
|
25
weiyufen520 2018-07-03 08:48:29 +08:00
@zke1e 为什么是违法了
|
27
Raymon111111 2018-07-03 10:33:12 +08:00
爬虫是会被抓起来的不知道吗
|
28
licoycn 2018-07-03 11:41:26 +08:00
你直接爬你给的这个网站的数据不就行了吗
|
29
weiyufen520 2018-07-03 16:05:01 +08:00
@Raymon111111 那百度也会被抓吧
|