V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
wersonliu9527
V2EX  ›  Python

萌新请教,关于 adsl 拨号代理问题

  •  
  •   wersonliu9527 · 2019-09-06 17:25:43 +08:00 · 2427 次点击
    这是一个创建于 1934 天前的主题,其中的信息可能已经有所发展或是发生改变。
    我按照崔庆才的教程,用 3 台香港的 vps 拨号主机,搭建了拨号代理池,在国内环境代理可以访问国内能访问的网站,在另一台外网服务器上,使用这个代理访问不了需要 fq 的网页。而这些代理 ip 也都是香港的,各位大佬有操作么
    5 条回复    2019-09-09 15:54:20 +08:00
    locoz
        1
    locoz  
       2019-09-07 09:53:57 +08:00 via Android
    跟 fq 一样的,一般的代理当然不能让墙内机器直接 fq
    wersonliu9527
        2
    wersonliu9527  
    OP
       2019-09-09 13:55:01 +08:00
    @locoz 用香港的 vps 拨号主机,ip 都是香港的,在里面搭建 socket 代理,在本地电脑 requests 使用下面方式可以翻
    proxies = {
    'http': 'socks5://xxx:1080',
    'https': 'socks5://xxx:1080'
    }
    但是问题来了在 scrapy 里面使用下面却不行
    class LocalProxyMiddleware(HttpProxyMiddleware):
    def process_request(self, request, spider):
    request.meta["proxy"] = 'socks5://xxx:1080'
    locoz
        3
    locoz  
       2019-09-09 14:43:13 +08:00
    @wersonliu9527 #2 我没有深入地用过 scrapy,你可以翻一下文档看看 scrapy 是否支持 socks5 代理,并且确认一下是不是这么写。
    wersonliu9527
        4
    wersonliu9527  
    OP
       2019-09-09 15:16:00 +08:00
    @locoz 多谢提醒确实不直接支持 网上查了很久 似乎通过 txsocksx 间接支持,但是 txsocksx 这个 15 年就停止更新了。
    locoz
        5
    locoz  
       2019-09-09 15:54:20 +08:00
    @wersonliu9527 #4 那你可以尝试使用 Privoxy 之类的工具,将 Socks5 代理转成 HTTP 代理。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   886 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 22:18 · PVG 06:18 · LAX 14:18 · JFK 17:18
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.