推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 2318 天前的主题，其中的信息可能已经有所发展或是发生改变。
ips.csv 是已经保存了形如 118.31.220.3:8080 的 IP 列表
用 requests 测试代理 IP 是否可用输出总是把原 IP 列表又输出了一遍！真心求助！
IPpools = []
with open('ips.csv', 'r') as csvfile:
reader = csv.reader(csvfile)
testip = [row[1] for row in reader]
for rows in testip:
proxy = 'http://'+rows
proxies = {"http": proxy}
try:
html = requests.get('https://www.baidu.com', proxies=proxies)
if html.status_code == 200:
IPpools.append(proxy)
except Exception as e:
continue
print(IPpools)
用 requests 测试代理 IP 是否可用输出总是把原 IP 列表又输出了一遍！真心求助！
IPpools = []
with open('ips.csv', 'r') as csvfile:
reader = csv.reader(csvfile)
testip = [row[1] for row in reader]
for rows in testip:
proxy = 'http://'+rows
proxies = {"http": proxy}
try:
html = requests.get('https://www.baidu.com', proxies=proxies)
if html.status_code == 200:
IPpools.append(proxy)
except Exception as e:
continue
print(IPpools)
 |
1
zhengxiaowai 2018-07-21 19:06:03 +08:00
proxy = 'http://'+rows -> proxy = 'https://'+rows
|
 |
2
ysc3839 2018-07-21 19:11:55 +08:00 via Android
你想表达什么？“原 IP 列表”指的是什么？
|
 |
3
sola97 2018-07-21 19:26:53 +08:00
请求百度用的 https，proxies = {"http": proxy} 代理 http，当然不匹配
|
|
4
ysc3839 2018-07-21 19:33:28 +08:00 via Android
你的 proxies 配置也有问题
http://docs.python-requests.org/en/master/user/advanced/#proxies |
 |
5
h19981126g OP 我的 ip 的列表有 https 和 http,一般怎么处理好？
|
|
6
h19981126g OP @sola97 我的 ip 的列表有 https 和 http,一般怎么处理好？
|
|
7
h19981126g OP @ysc3839 proxies 我看过文档是怎么写的，就是问数组里的 ip 怎样变成参考里带引号能用的样子
|
|
8
ysc3839 2018-07-21 19:47:22 +08:00 via Android
@h19981126g 你的 csv 是怎样的？发来看看。
|
 |
9
also24 2018-07-21 19:48:28 +08:00
@h19981126g #7 你 5 楼的问题，在 4 楼给出的链接里有答案
|
|
10
h19981126g OP @also24 就是看过了还不知道怎么解决 才来问的。
|
 |
11
golmic 2018-07-21 19:52:35 +08:00 via Android
@h19981126g 直接 proxy=("all":row) 换成大括号
|
|
12
also24 2018-07-21 19:52:57 +08:00
|
|
13
golmic 2018-07-21 19:53:04 +08:00 via Android
row 加一下 http 或者 https 协议头
|
|
14
h19981126g OP @ysc3839 不用管 csv 是怎么样的，我设置读到 python 里就是个数组，就是解决 requests 代理从数组中读取地址，和 https 的问题
http://i4.bvimg.com/653190/d2ca3f32af5b6288.jpg http://i4.bvimg.com/653190/67387ae897763b8d.jpg |
|
15
ysc3839 2018-07-21 20:01:53 +08:00 via Android
@h19981126g 你 csv 里面都没记录代理服务器是 http 还是 https，那没办法处理啊？
|
|
16
h19981126g OP 我有办法爬到，只是现在没爬
|
|
17
h19981126g OP @ysc3839 我有办法爬到，只是现在没爬
|
|
18
ysc3839 2018-07-21 20:59:38 +08:00 via Android
@h19981126g 那你爬的时候把完整 URL 写进 csv 就好了。
|
|
19
also24 2018-07-21 22:38:40 +08:00 via Android
骑了一圈儿车回来，楼主是还没找到方法嘛？
试试把 proxies = {"http": proxy} 改成 proxies = {"http": proxy, "https":proxy,} 会怎样 🙄 |
|
21
h19981126g OP @also24 谢谢，已经找到了，只是没回复，我直接用的 proxies = {"all": proxy} 不知道有没有问题
|
Select Language