py 去爬对象数据,总是被封 ip ,爬着爬着爬不动。是不是只能买 ip 代理数据库?太贵了。还有别的方案吗?麻烦指点讨论
1
wuwuta170 2022-05-30 12:57:15 +08:00 via iPhone
间隔地爬
|
2
ila 2022-05-30 13:09:31 +08:00 via Android
用 selenium 测试下,看代码问题还是时间段单 IP 请求次数问题.
第二种情况,买个鸡场服务,在起飞和本地来回切换 |
3
keepeye 2022-05-30 13:12:30 +08:00
测一下一个 ip 能用多久,我知道的动态代理一般一个 ip 有效时常 3-5 分钟,算下来也不是很贵
|
4
sadfQED2 2022-05-30 18:26:58 +08:00 via Android
尝试在这几个 http 头中瞎 jb 随机 ip 地址
REMOTE_ADDR HTTP_VIA HTTP_X_FORWARDED_FOR X-Real-IP X_FORWARDED_FOR 某些分不清这些变量区别的程序员,随便在网上 copy 了一份“获取用户真实 ip“的代码。那你瞎 jb 随机这几个头给他就然后 ip 检测了 |