这是一个创建于 450 天前的主题，其中的信息可能已经有所发展或是发生改变。
开始时也只有三四 M ，爬着爬着只有几百 k 了。对单个站的访问频率设置是每 500ms 一次访问，不算频率高了吧？同时爬取 1500 个站。。
 |
1
baobao1270 2023-09-03 17:48:39 +08:00  1
你同一个 IP 一直访问，肯定有限制啊
|
 |
2
BH1SMB 2023-09-03 17:59:08 +08:00
一般用代理 chi
|
 |
3
yyzh 2023-09-03 18:01:11 +08:00 via Android
网站的限制，大内网有人干坏事的话是一起死的
|
 |
4
cnrting 2023-09-03 18:40:50 +08:00 2
每 500ms 一次访问，不算频率高???
|
 |
5
zz1127 2023-09-04 08:50:30 +08:00 1
500ms 一个 ip 高频得离谱了
|
 |
6
busier 2023-09-05 13:02:21 +08:00 via Android
对于 http 1.1 来说 500ms 一次还真不高
|
Select Language