V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
herozzm
V2EX  ›  问与答

请教一个无头版本 Chrome 问题

  •  
  •   herozzm · 2022-01-08 22:28:29 +08:00 · 1010 次点击
    这是一个创建于 1048 天前的主题,其中的信息可能已经有所发展或是发生改变。

    目标网站: http://ccgp-gansu.gov.cn 无头版本 Chrome 浏览仅返回<html><head></head><body></body></html>,和真实浏览器返回的内容完全不一样,请问大神问题出在什么地方?

    pelloz
        1
    pelloz  
       2022-01-08 22:40:30 +08:00
    问题出在你不应该爬网站,更不应该爬 zf 网站。你这个问题或许监狱有狱友可以教你。
    ClericPy
        2
    ClericPy  
       2022-01-08 22:41:45 +08:00
    好大一坨 JS... 还老是跳 dns 找不到 ip... 这是反爬还是别的
    ALTER2333
        3
    ALTER2333  
       2022-01-08 22:41:59 +08:00 via Android
    假如无头是指无 User-Agent 头,那可能是服务器端做了防爬虫?对于非正常请求(无 UA )做特定的返回
    also24
        4
    also24  
       2022-01-08 22:43:21 +08:00
    herozzm
        5
    herozzm  
    OP
       2022-01-08 22:52:23 +08:00
    @ALTER2333 指的是 Headless Chrome
    herozzm
        6
    herozzm  
    OP
       2022-01-08 22:53:27 +08:00
    找到原因了,网站封禁了 Headless Chrome 固定的 user-agent
    chinemds
        7
    chinemds  
       2022-01-08 23:03:48 +08:00   ❤️ 1
    真刑啊
    wunonglin
        8
    wunonglin  
       2022-01-08 23:19:24 +08:00
    @herozzm #6 刑了,问题解决了
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   4548 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 09:58 · PVG 17:58 · LAX 01:58 · JFK 04:58
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.