V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
bruce00
V2EX  ›  问与答

求助, Python 爬虫中 chrome 启用 headless 设置后运行速度变得很慢

  •  
  •   bruce00 · 2018-12-04 12:00:49 +08:00 · 2777 次点击
    这是一个创建于 2206 天前的主题,其中的信息可能已经有所发展或是发生改变。

    同样的环境和 options 代码设置,家里电脑就能很快运行

    在性能差不多的单位的电脑上,没启用 headless 时 chrome 秒开,启用之后就半天没反应。。。

    会是什么原因呢?有遇到过类似情况的大佬吗

    代码如下:

    from selenium.webdriver.chrome.options import Options
    
    def getpage(url):
        
        chrome_options = Options()
        chrome_options.add_argument('--headless')
        driver = webdriver.Chrome(options=chrome_options)
        driver.get(url)
    
    3 条回复    2018-12-04 12:46:30 +08:00
    binux
        1
    binux  
       2018-12-04 12:20:33 +08:00 via Android   ❤️ 1
    我猜一个,页面上有慢资源一直在加载,有 UI 的时候你看到以为加载完了,但是实际上还在等待 Page load
    zpfhbyx
        2
    zpfhbyx  
       2018-12-04 12:22:09 +08:00   ❤️ 1
    把图片渲染关了,应该会快点,但还是比 requests 慢!
    bruce00
        3
    bruce00  
    OP
       2018-12-04 12:46:30 +08:00
    @binux 应该不是,没启用 headless 的时候很快就抓取到页面资源并退出 chrome,开始下一步了,感觉是这块代码或者浏览器的原因
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3137 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 13:19 · PVG 21:19 · LAX 05:19 · JFK 08:19
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.