网站是如何识别像 Puppeteer 这样采用 chrome headless 模式的 node js 爬虫的？
nujabse · 2018-04-19 20:53:31 +08:00 · 5978 次点击这是一个创建于 2410 天前的主题，其中的信息可能已经有所发展或是发生改变。
最近想用 Puppeteer 爬取 这个网站 的数据，发现爬取几个数据之后就很快被识别为机器人，弹出 recaptcha 的验证，已设置 UA 和 Cookie，模拟浏览器人工操作还是被封禁。这个网站是如何识别检测 puppeteer 爬虫的？
 |
1
gzlock 2018-04-19 21:24:58 +08:00
瓶颈在 ip，上代理池
|
 |
2
miyuki 2018-04-19 21:35:24 +08:00
可能是 IP 频率？
|
 |
3
soli 2018-04-20 05:33:07 +08:00
道高一尺，魔高一丈。
复杂一点的，可以分析用户鼠标、键盘等动作。 |
 |
4
yamedie 2018-04-20 07:14:36 +08:00 via Android
操作频率太快了，设置点间隔
|
 |
5
Sparetire 2018-04-20 13:58:32 +08:00
|
Select Language