V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
falcon05
V2EX  ›  问与答

最近什么情况,你们有没有发现亚马逊的爬虫疯狂爬站

  •  
  •   falcon05 · 79 天前 · 317 次点击
    这是一个创建于 79 天前的主题,其中的信息可能已经有所发展或是发生改变。

    直接把我 1c1g 的 1M 带宽的小鸡负载弄到了二三十,动弹不得,受不了了,只好把他家的 UA 拉入黑名单。 查了一下 ip:

    52.70.240.171
    23.22.35.162
    3.224.220.101
    

    这些似乎也确实是他家的 ip ,它家有什么搜索引擎?访问记录是这样的,

    3.224.220.101 - - [09/Sep/2024:13:45:32 +0800] "GET /80781 HTTP/1.1" 403 150 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)"
    
    
    目前尚无回复
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1100 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 20ms · UTC 22:44 · PVG 06:44 · LAX 14:44 · JFK 17:44
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.