Selenium + Chromedriver 抓取时，如何动态更改 header 头 / proxy 呢？
LinJunzhu · 2018-09-13 20:15:17 +08:00 · 8569 次点击这是一个创建于 2261 天前的主题，其中的信息可能已经有所发展或是发生改变。
最近需要用到 Selenium + Chromedriver 去抓取， 伪代码如下：
from selenium import webdriver
url = "http://demo.testfire.net"
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')
chrome_options.add_argument('--http_proxy=118.18.188.188')
driver = webdriver.Chrome(chrome_options=chrome_options,executable_path='/Users/xxxx/driver/chromedriver')
driver.get('http://demo.testfire.net')
但是遇到一个非常严重的问题：
header 头 只能够在创建 driver 时传入，不知如何在创建 driver 后进行动态修改？ 否则的话我每请求一次就得把 driver.quit 掉（每次请求都得动态修改下 user-agent / proxy，防止被 block)， 相当于每次都要重启下浏览器，这样子极其的耗费资源。
在网上搜索了许久，一直没有好的解决方案，不知道 V2 上哪位大神有比较好的解决方案呢？叩谢！！
 |
1
tulongtou 2018-09-13 20:20:23 +08:00 via iPhone
试试 htmlunit
|
 |
3
SP00F 2018-09-13 23:53:19 +08:00
动态 adsl
 |
 |
4
kran 2018-09-14 00:43:04 +08:00 via iPhone
|
 |
5
LinJunzhu OP @kran 这 link 点进去就自动 302 到 bing 首页去了， 能否给几个关键词 或者正确的 link 哈，谢谢
|
|
7
kran 2018-09-14 11:34:45 +08:00 via iPhone
|
Select Language