开始时也只有三四 M ,爬着爬着只有几百 k 了。对单个站的访问频率设置是每 500ms 一次访问,不算频率高了吧?同时爬取 1500 个站。。
1
baobao1270 2023-09-03 17:48:39 +08:00 1
你同一个 IP 一直访问,肯定有限制啊
|
2
BH1SMB 2023-09-03 17:59:08 +08:00
一般用代理 chi
|
3
yyzh 2023-09-03 18:01:11 +08:00 via Android
网站的限制,大内网有人干坏事的话是一起死的
|
4
cnrting 2023-09-03 18:40:50 +08:00 2
每 500ms 一次访问,不算频率高???
|
5
zz1127 2023-09-04 08:50:30 +08:00 1
500ms 一个 ip 高频得离谱了
|
6
busier 2023-09-05 13:02:21 +08:00 via Android
对于 http 1.1 来说 500ms 一次还真不高
|