某搜索爬虫不遵守协议高频抓爬如 DDoS 攻击让国内外许多网站痛苦不堪

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 1641 天前的主题，其中的信息可能已经有所发展或是发生改变。

消息来自蓝点网大佬们网站日志有这个爬虫记录吗 https://www.landiannews.com/archives/73796.html

5 条回复 • 2020-05-13 11:10:59 +08:00

coolwo

2020-05-12 10:56:04 +08:00

好牛的 spider，在为 300 年以后的“哄-蒙系统”爬数据了，6666~

no1xsyzy

2020-05-12 13:05:11 +08:00

惊了，我还以为是旧闻，刚想致

ruzztok

2020-05-12 18:19:52 +08:00

直接给它禁了

id7368

2020-05-13 04:00:48 +08:00

@no1xsyzy 查了下似乎从 2 月才开始爬的。

no1xsyzy

2020-05-13 11:10:59 +08:00

@id7368 #4 （我是说，我还以为还是头条搜索……