V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
zhizhongzhiwai
V2EX  ›  问与答

各位亲们, 如何防止抓取网站时被屏蔽?

  •  
  •   zhizhongzhiwai · 2015-10-06 18:16:03 +08:00 · 2321 次点击
    这是一个创建于 3318 天前的主题,其中的信息可能已经有所发展或是发生改变。
    公司需要从第三方网站上抓取数据, 但是看网站说,如果抓取频率过高的话,会被屏蔽。
    一般大家都怎么处理这样的问题的?
    用 http 代理?
    还是有其他更好的办法。
    10 条回复    2015-10-06 21:32:52 +08:00
    xfspace
        1
    xfspace  
       2015-10-06 18:25:05 +08:00
    目前好像就代理和降低频率两个方法,楼下的大牛可能知道更多
    kn007
        2
    kn007  
       2015-10-06 18:26:39 +08:00
    用代理。。
    zhizhongzhiwai
        3
    zhizhongzhiwai  
    OP
       2015-10-06 19:54:11 +08:00 via Android
    @kn007 可是去哪里找那么多可用的代理 ip 呀
    maemual
        4
    maemual  
       2015-10-06 19:54:57 +08:00
    @zhizhongzhiwai 要么自己抓,要么上淘宝上买。。。
    kendetrics
        5
    kendetrics  
       2015-10-06 19:58:41 +08:00   ❤️ 1
    kn007
        6
    kn007  
       2015-10-06 20:01:57 +08:00
    @zhizhongzhiwai 写个爬虫抓。具体的自己找。
    zhizhongzhiwai
        7
    zhizhongzhiwai  
    OP
       2015-10-06 20:08:10 +08:00
    @kendetrics 像他们这种代理网站的速度如何? 这些代理稳定吗? 毕竟我们是公司的产品, 需要非常稳定的代理。
    kendetrics
        8
    kendetrics  
       2015-10-06 20:48:50 +08:00
    @zhizhongzhiwai 要稳定你还是去买多 IP 的 VPS 吧,或者拨号的 VPS 。。
    crab
        9
    crab  
       2015-10-06 21:08:37 +08:00
    淘宝买个动态 ADSL 拨号的,被屏蔽就拨号下就有新 IP 了。用代理 IP 没什么保证的,就是可以用速度也一般。
    tcsky
        10
    tcsky  
       2015-10-06 21:32:52 +08:00   ❤️ 1
    国外 vps 上跑 tor, tor 开 10-20 个端口, tor 本身 10 分钟会换次 ip,
    被爬站点有 cdn 的话, 将请求分发不同机器上去.
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1250 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 23:13 · PVG 07:13 · LAX 15:13 · JFK 18:13
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.