Selenium 3.0.1 的 HTTP basic auth 问题

[mistak1992]

手里有一台 TP-WR740N ，不时会过热死机，所以想定时重启一下，在 NAS 上虚拟机 centos7 搭了 Python 3.5.2 ，配合 selenium 2.53 和 Firefox 45.04 (还有 Xvfb)实现重启，代码如下：

#!/usr/bin/env python  
from pyvirtualdisplay import Display
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
display = Display(visible=0, size=(1024, 768))
display.start()
driver = webdriver.Firefox()
driver.get("http://admin:[email protected]")
driver.implicitly_wait(2)
driver.switch_to.frame("bottomLeftFrame")
driver.implicitly_wait(2)
driver.find_element_by_id("a38").click()
driver.implicitly_wait(1)
driver.find_element_by_id("a44").click()
driver.switch_to.parent_frame()
driver.switch_to.frame("mainFrame")
driver.find_element_by_id("reboot").click()
driver.switch_to.alert.accept()
driver.close()

然后，前几天我把 NAS 换成 centos7 系统，配上 Python 3.5.2 selenium 3.0.1(pip 上好像前几天更新的) 和 Firefox 45.04 (还有 Xvfb)，代码还是上面的代码，结果就出现问题了：
1.[已解决]需要 Geckodriver 的路径。我去 github 下载后，解压放到 /usr/bin/
2.应该是 HTTP basic auth 的问题，执行

driver.get("http://admin:[email protected]")

没有内容返回， driver.title 是空的，而且也没有任何错误提示，如果把地址换成百度之类的不需要 HTTP basic auth 就能获取到内容。然后我这个初学者就不造怎么办了，所以就来求助一下大家~

这个问题涉及到Firefox的profile的问题，小菜鸡才疏学浅弄了半天才弄明白，HTTP basic auth需要加上关键参数

network.http.phishy-userpass-length = 255

解决方法： 在上面的代码中作出修改，创建firefox对象前加上profile设定，并向Firefox()加入参数

profile = webdriver.FirefoxProfile() #创建firefox profile对象
profile.set_preference("network.http.phishy-userpass-length", 255) #设定profile参数
driver = webdriver.Firefox(profile)

然后，Selenium 3.0.1中遇到HTTP basic auth 问题应该可以参照这个方法解决

参考链接：
http://docs.seleniumhq.org/docs/03_webdriver.jsp#firefox-driver
http://blog.wedoqa.com/2013/09/basic-http-authentication-and-webdriver/
http://stackoverflow.com/questions/28181102/in-selenium-python-webdriver-im-not-able-to-download-a-text-file-with-a-lst-e

So @bdbai 大神说得对，还有更简单的实现方法~用requests(好像要用pip安装来着)
http的header需要设置referer和UA
直接上代码:

#!/usr/bin/python
import requests
s = requests.Session()
s.auth = ("admin", "admin")#管理界面用户名密码
s.headers.update({"referer":"http://192.168.1.1","User-agent":"Mozilla/5.0 (Windows; U; Windows NT 6.1; rv:2.2) Gecko/20110201"})#设置referer和UA
r = s.get("http://admin:[email protected]/userRpm/SysRebootRpm.htm?Reboot=%D6%D8%C6%F4%C2%B7%D3%C9%C6%F7")

[dsg001]

自己的系统，又不用反爬虫，直接上 requests 好了

[CosimoZi]

implicit_wait 不是这样用的吧?
仔细看一下源代码或文档,要达到 wait 的效果,应该用 webdriverwait

[mistak1992]

@dsg001 嗯嗯~好的，我研究一下 requests

[mistak1992]

@CosimoZi 哟西~不过在 selenium 2.53 上是有这个效果的，我看看 webdriverwait 去~射射

[bdbai]

这样开销太大了，抓个包直接发请求呗。

[mistak1992]

@bdbai 嗯嗯，是啊~初学感觉这个是最简单的实现了~囧~ 抓包发请求是怎么弄呀？用啥工具抓包咧？能不能给个关键字我去搜搜看

[mistak1992]

@CosimoZi 我试了试 webdriverwait ，仍然是 get 不到任何内容，感觉不像是这个问题，会不会是 geckodriver 的问题咧，因为 selenium3.0.1 才用到 geckodriver ，额~有点混乱了我

[bdbai]

@mistak1992 以 Chrome 为例，先打开浏览器的开发者选项，然后登进路由器管理页面，按下 F12 底下会弹出开发者工具，切到 Network 页。这时候点击“重启路由器”就会看到有请求发出来，琢磨琢磨请求主体，丢给 Python 跑。
大概是这样的。

[mistak1992]

@bdbai 三克油~找到了~跟之前在歪果仁博客上看到的一样
```
http://192.168.1.2/userRpm/SysRebootRpm.htm?Reboot=%D6%D8%C6%F4%C2%B7%D3%C9%C6%F7
```
不过情况跟之前差不多~囧~You have no authority to access this device!
前面加上 admin:admin@也好像不太行，估计要 google 一下了
忽然发现回复要扣小铜板的，不知道哪天我这个小菜鸡会穷的没法回复了~囧~

[rale]

你这样确实太浪费资源了，如楼上所说，这个直接用 curl 拼一个请求放到 crontab 里就可以了
对于你这个问题， webdriver 初始化（ driver = webdriver.Firefox()）的时候可以设置 log 位置，可以看到你的 dirver 的每一步操作。

[bdbai]

@mistak1992 你得把登录验证信息放进请求里面，不知道是普通 HTTP auth 还是 Cookie ，具体情况具体分析吧。
可以加我 QQ MzQ3MDk5OTIw （ Base64 编码）

铜币给你送回去了。

[mistak1992]

@bdbai 谢谢，我先研究下～唉呀😂😂😂大神呀，别介啊，小菜鸡初来乍到不懂规矩～

[mistak1992]

@rale 嗯嗯，谢谢，原来可以出 log 的😳这样就能知道哪儿出错了😳😳😳

[sodatea]

直接在 URL 里加 authority 信息其实是不符合 HTTP 标准的……并不是所有客户端都能支持这么搞……前几天刚被坑到过

[mistak1992]

@sodatea 这样的嘛😳那应该怎么样弄的呢？关键是 selenium 2.53 是正常的😳然后 selenium 3.0.1 才出现问题，我已经排除了很多情况了，只是 selenium 3.0.1 才刚出， api 文档还找不到呢，所以有点束手无策

[SlipStupig]

@mistak1992 2.53 正常不用，为什么一定要用 3.01 ？

[mistak1992]

@SlipStupig 说来惭愧，主要是 pip 上装的都是最新版，前几天重新装 NAS 系统的时候发现 pip 装的是最新版，然后又不知道怎么装 2.53 ，所以_(:з」∠)_ 阴差阳错，最后实在好奇想弄明白到底是啥原因~~~so

[SlipStupig]

@mistak1992 pip install selenium==2.53

[mistak1992]

@SlipStupig 司国义！！！原来是这样，谢谢~不过我已经给自己挖了个坑，我要继续研究下去才行_(:з」∠)_

[mistak1992]

@SlipStupig @sodatea @rale @CosimoZi @dsg001 谢谢大家回复~谢谢大神 @bdbai 耐心的解答~
这个帖子发出去是不是没法重新编辑，只能 APPEND ？_(:з」∠)_

[bdbai]

@mistak1992 已经超过编辑时间了，好像是五分钟吧。