1
manhere 2014-05-07 21:03:30 +08:00
防不了,只有图片打水印还能保留一丁点你的站点信息
|
2
lightforce OP @manhere 图片水印,压缩这种我都做了,但还是被人采,郁闷
|
3
licell 2014-05-07 21:20:50 +08:00
只要是中文站,都避免不了这个问题
|
4
codingpp 2014-05-07 21:55:41 +08:00
还得是分析log中的ip吧,几秒钟访问超过限制就封掉
做抓取的表示一般大型网站都是这么屏蔽的 |
5
lightforce OP @codingpp 图站要并发req的,我试过limit,影响体验我没加,现在就limit_conn,limit_rate
|
6
zhurongx 2014-05-08 11:48:02 +08:00 1
90%的情况下有效的方法:
把速度快,频率高,已经超出人类操作的频率的来源ip进行限制。监控ip访问流量、次数等特性的工具有很多。 剩余10%基本无解的方法: 好的爬虫会有一个ip池,会把请求分散在大量ip服务中转发,隐藏自己速度快频率高的特点,伪装成正常请求。这种情况下,除非你使用限制性逻辑,如积分满多少才可以打开,否则是无解的。 |