V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
通过以下 Referral 链接购买 DigitalOcean 主机,你将可以帮助 V2EX 持续发展
DigitalOcean - SSD Cloud Servers
qsnow6
V2EX  ›  VPS

有什么好的 VPS 代理池软件

  •  
  •   qsnow6 · 2017-04-24 12:05:14 +08:00 · 387 次点击
    这是一个创建于 2766 天前的主题,其中的信息可能已经有所发展或是发生改变。

    需求是这样的: 经常开爬虫扒数据,就买了几台 VPS 当代理节点使用,爬虫工作的时候轮流切换。

    分享下我现在的方案:

    • 把 VPS 搭建成 HTTP/S 代理;
    • VPS 每隔 X 秒重拨 ADSL 一次,并向中央节点提交自己当前的 IP ;
    • 中央节点使用 squid 作为反向代理,自动检测当前可用的代理节点,并转发客户端的请求给 VPS ;
    • 爬虫在使用的时候只需一次设置 IP:port ,就可以了,剩下的就交给 squid 来管理。

    现在几个待解决的问题: 1 。 squid 每次只返回配置里面的第 1 个节点,可能是我配置问题? 2 。 实现 VPS 远程拨号功能,这样就可以按需拨号。可控性就高很多了,毕竟爬虫正在工作的时候, ADSL 重拨会有重新连接的开销。

    不知道除了 squid 外,还有没有其它可以实现这样需求的工具

    顺便贴下我的 squid 配置,大家可以直接用:

    # 这上面的全部用默认的就行了
    http_access allow all
    ....
    cache_peer 8.8.8.8 parent 8888 0 no-query no-digest
    never_direct allow all
    
    
    3 条回复    2017-05-14 18:34:37 +08:00
    msg7086
        1
    msg7086  
       2017-04-25 01:06:45 +08:00
    VPS 一般是固定 IP 的吧。你说的是肉鸡?
    qsnow6
        2
    qsnow6  
    OP
       2017-04-25 08:35:45 +08:00
    @msg7086 动态拨号
    pagxir
        3
    pagxir  
       2017-05-14 18:34:37 +08:00 via Android
    根本不需要那麻烦,tun2socks 或者 socksify 即可。重拨的问题需要两边配合即可。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1020 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 20:17 · PVG 04:17 · LAX 12:17 · JFK 15:17
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.