为什么买到的代理都被识别出来了,自己的 ip 又可以爬取,但是爬取评论必须要 cookie,所以我怀疑是不是 ip 被加密到 cookie 里面,有没有老哥说说
1
scukmh 2018-09-09 16:00:25 +08:00
这不是很正常的操作嘛?自己做一下 Web 开发就知道了啊,很多框架,比如 flask-login,默认的安全级别就是会加入 ip 地址验证的,建议你去爬手机客户端还靠谱一点。
|
2
Mrrrrr10 OP 客户端的信息被隐藏了,都是乱码
|
3
fork3rt 2018-09-10 10:21:06 +08:00
我做过大众点评的采集,貌似是这样的。不过我的解决方案就是 IP 代理池,完全没问题啊。
|
4
rocketman13 2018-09-10 17:44:24 +08:00
代理 ip 也分质量的
|
5
Mrrrrr10 OP @fork3rt 我也是有 ip 代理池,免费的自己抓的,付费的也用了,都被识别出来,本机 ip 才可以,你用的哪一家的 ip
|
7
fx0719 2018-09-12 13:20:17 +08:00
大佬能分享下代码吗?谢谢
|
8
Mrrrrr10 OP @fork3rt 好的,我试一试,顺便问一下,有没有出现 302 被重定向到验证页面?我是用 cookie 登陆去抓评论的,您也抓评论吗?
|
10
fork3rt 2018-09-12 17:51:34 +08:00
@Mrrrrr10 嗯,我也抓的评论。 貌似有 302 的情况,不过我做了判断,只处理 status_code 200,其他的情况 我都是立刻更换代理,然后重试。
|
14
fork3rt 2018-09-14 11:47:20 +08:00
|
15
qybing 2018-09-14 12:36:00 +08:00 via iPhone
我也是遇到这个问题,似乎 IP 代理被识别出来了,你们都是登录过去抓的吗?如果要大规模抓取,这样岂不是要有很多账号?
|
16
fx0719 2018-09-17 12:55:35 +08:00
楼主 github 地址多少,我关注一波
|
17
yxh18600224123 2018-10-09 13:32:54 +08:00
最近几天在爬,使用的芝麻 HTTP 代理 ip,付费的,遇到最后有评论的详情页面,就会被秒识别代理,直接 ban.而用本机 ip 可以正常获取几十个商户的信息,然后需要验证,暂时没找到解决办法.想找到怎么用付费的代理爬取
|