查找中国 http 代理的比较可靠方法/网站

[KentY]

查找具有中国 IP 的 http 代理方法或网站是什么?

需求:

• 通过国内代理, baidu 网盘打开速度, 下载速度比较快. 我这里 100mbps 的网, 下网盘的东西通常小于 100k, 时而抽风最快到 400 多 k, 碰上个好的代理可以到 1,2M 多.

• 网易,虾米什么的歌曲可以在线听

目前我就是在 http://proxy-list.org/ 上找中国的代理, 并写了个脚本 https://github.com/sk1418/myScripts/blob/master/python/cnProxy.py 来按速度显示便于 cp.

又弄了个本地 pac 给 firefox 来自动设置代理:
https://github.com/sk1418/myScripts/blob/master/shell/ffproxy.sh

可是我发现, 那个网站有时候代理标称的速度和实际不符, 要手动试好几次. 挺麻烦. 想了解下, 比较靠谱的获得国内代理的方式是什么, 最好有一个(或几个)网站, 我好把脚本更新了. 不要求时效多长, 稍微稳定就可以了. 1,2 天更换一次我可以接受.

谢谢

[LGA1150]

实际上很多中国的代理 IP 是运营商做的缓存
移动居多，如 120.198.231.0/24 120.198.243.0/24
你可以用网站检测工具 DNS 解析一下各下载服务器的域名

[TaMud]

https://proxy.peuland.com

[KentY]

@TaMud 谢谢
等我回家测试一下代理质量.
这个 post 返回的还不错是 json, 脚本应该比较容易改, 还有 download_speed 测试结果.
挺好的.

[wwek]

@TaMud 不错

[wwek]

如何在一天内扫描整个互联网
https://flfq.peuland.com/index.php/2014/08/15/%E5%A6%82%E4%BD%95%E5%9C%A8%E4%B8%80%E5%A4%A9%E5%86%85%E6%89%AB%E6%8F%8F%E6%95%B4%E4%B8%AA%E4%BA%92%E8%81%94%E7%BD%91/

https://proxy.peuland.com 作者的博客
核心技术
扫描器 zmap
存储 mysql
验证 CURL 的多线程模式

[TaMud]

@KentY 这网站有反爬虫机制，虽然看起来好简单，其实并不简单，如要爬下来，要研究研究

[popok]

@TaMud
mark

[henices]

https://github.com/henices/getproxy

[KentY]

@TaMud 是, 我昨天觉得三下五除二改了就行了. 结果发现好像有几个 ID 是 server 那边生成的, 不那么容易弄出来. 等有时间了再细研究.

[TaMud]

@KentY 要不把网站发到 V2EX 上让大家一起研究研究，是有点难度

[KentY]

@TaMud 你不已经发在上面了吗... 你是说要我把 request headers 贴上来?

[TaMud]

@KentY 我的意思是重开一贴，让大家一起来研究一下这个网站的反爬虫机制

[KentY]

@TaMud 元旦放假, 在家看了下, 抓下来了.

这个页面的反爬机制是, 一个 proxy.js 来设置一些 cookie, 这个 proxy.js 加密了, 让你不知道它要检查哪些 cookie. 通过 decrypt 这个 proxy.js 就发现了那些 cookie 的名字以及什么值.

扩充了我自己的 cnProxy 脚本, 如有兴趣看下,见:

https://github.com/sk1418/myScripts/blob/master/python/cnProxy.py#L61

[TaMud]

@KentY 直接提示 hello bot

[KentY]

@TaMud
你是用的我的那个 cnProxy.py 吗? 我这里可以的, 可以输出. 在家, 在办公室(有代理)都可以:

211.144.81.68:18000 242 (kib or ranking)
180.97.185.35:10001 232 (kib or ranking)
211.144.81.69:18000 150 (kib or ranking)
112.16.87.160:80 148 (kib or ranking)
211.144.72.154:8080 129 (kib or ranking)

[TaMud]

@KentY ip 不同就不能用，你的 ip 是固定 ip 吧

[KentY]

@TaMud 我公司 ip 应该是固定的, 我家是拨号的, 一直没重拨, 但是应该不是固定.

[hehuozhao]

@KentY 谢谢你的脚本，我修改了一下变得可以兼容 Python 3 了， Pull Request 在这里， https://github.com/sk1418/myScripts/pull/2 。

建议使用 lxml 代替 BeautifulSoup ，可以按 html tag 查找而不需要自己写 Regex ，速度也快很多。

[KentY]

@hehuozhao 那个网站修改了返回内容, 做了相应修改.

[KentY]

@TaMud 这个一直用着挺好, 怎么忽然不能访问了? 有内情?