这是一个创建于 2104 天前的主题，其中的信息可能已经有所发展或是发生改变。
服务器环境是 LAMP(4 核 16G 内存),最近服务器 CPU 占用率一直在 90%以上，用 TOP 查看，有很多 HTTPD 进程。查看日志后，发现蜘蛛同一时间发起了很多请求。
之前已经通过 rebots.txt 限制了蜘蛛的爬行，但是没什么用。后来通过 mod_limitipconn.c 设置了同一个 IP 的并发数，但是现在看来也没什么用。在访问日志里查看，百度蜘蛛的 IP 在同一时间都是不同的。
而且现在用 mod_limitipconn.c 设置后，对非蜘蛛的 IP 也影响了，公司里如果多个同事在使用网站，就会出现 503 的情况，要再次刷新页面才能正常。。
有没有什么方法可以解决这个问题呢？
 |
1
MrMike OP 知道的朋友，请指教一下么。谢谢。
|
Select Language