V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
h175h32
V2EX  ›  站长

怎么才能把自动变换 user-agent 的爬虫拉黑呢

  •  
  •   h175h32 · 1 天前 · 912 次点击

    现在有很多自动变换 user-agent 的爬虫,每次访问页面都会换一次 ua ,怎么才能把他们自动拉黑呢,这些爬虫把服务器带宽都占满了

    13 条回复    2025-03-04 09:37:24 +08:00
    hubaq
        1
    hubaq  
       1 天前
    V2:上 CF
    Hookery
        2
    Hookery  
       1 天前
    这种情况找到对方可以走法律途径起诉。前提是能找到。
    deplives
        3
    deplives  
       1 天前
    换个思路,套一个 cf 吧
    h175h32
        4
    h175h32  
    OP
       1 天前
    @deplives 套 cf 晚上卡的飞起啊。
    blackeeper
        5
    blackeeper  
       1 天前
    ua 变化,IP 又不会变化,根据 IP 来做策略就可以了
    xiaojie668329
        6
    xiaojie668329  
       1 天前
    上 recapture (…
    h175h32
        7
    h175h32  
    OP
       1 天前
    @blackeeper 难就难在 怎么判断他是有多个 ua
    sslyxhz
        8
    sslyxhz  
       1 天前
    ip 策略,登录限制
    user23125
        9
    user23125  
       1 天前
    看看有什么特征吧,爬虫一般用的是 http 1.1 ,干脆把所有 http 1.1 除搜索引擎爬虫的请求全部验证码质询。
    herozzm
        10
    herozzm  
       1 天前 via iPhone
    ua 和 ip 都会变就无解,上验证码
    zeusho871
        11
    zeusho871  
       21 小时 46 分钟前
    基于 tls 指纹可以拦截一部分,然后麻烦的需要用 ip 加行为风控
    ladypxy
        12
    ladypxy  
       17 小时 41 分钟前
    直接屏蔽所有云厂商的 CIDR
    h175h32
        13
    h175h32  
    OP
       16 小时 15 分钟前
    @ladypxy 你这个办法比较好 CIDR 不知道哪里有
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1277 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 17:53 · PVG 01:53 · LAX 09:53 · JFK 12:53
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.