这是一个创建于 2456 天前的主题,其中的信息可能已经有所发展或是发生改变。
通过服务器日志,可以追踪到用户每次请求的日志,格式是
2018-01-16 16:00:01 X 接口 A 用户请求
2018-01-16 16:00:02 X 接口 A 用户请求
2018-01-16 16:00:03 X 接口 B 用户请求
2018-01-16 16:00:04 X 接口 A 用户请求
2018-01-16 16:59:59 X 接口 B 用户请求
...
类似这种,最简单的方式就是给个统计上限 N,1 小时超过 N 次,则判定为爬虫用户
但这样,N 的值就不好取,取小了,会误封普通用户,取大了,会少封爬虫用户
想了想还有一个可以参考的,就是访问的频率(密集程度),比如 A 在 1 分钟请求了 N-1 次,和 B 在 1 分钟内请求了 N+1 次,按道理 A 为爬虫的概率应比 B 大得多
应该怎么将这个转换为算法 /逻辑? 或者有什么好用简单的方法?
谢谢!
3 条回复 • 2018-01-16 16:47:51 +08:00
|
|
1
wdd2007 2018-01-16 16:24:53 +08:00 1
爬虫不执行 js,统计用 js 调用。
|
|
|
2
crab 2018-01-16 16:25:35 +08:00
不请求 css img 的 IP 很大几率就是爬虫。(当然这个不能公开,规则也要经常调整)
|
|
|
3
dassh 2018-01-16 16:47:51 +08:00
例子有错别字,重写一下: 比如 A 在 1 分钟请求了 N-1 次,和 B 在 1 小时内请求了 N+1 次,按道理 A 为爬虫的概率应比 B 大得多
|