V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
i4oolish
V2EX  ›  程序员

有哪些好用的开源或者免费爬虫?

  •  
  •   i4oolish · 2017-03-09 16:07:33 +08:00 · 3796 次点击
    这是一个创建于 2795 天前的主题,其中的信息可能已经有所发展或是发生改变。

    最近打算爬一个网站数据,链接格式自己都有。想找一个好用的爬虫软件,需求是顺利爬下数据,不被网站主发现。

    源网站是一个购物网站,流量很大。

    ======================= 追加: 源网站链接返回的数据是JSON数据,可以直接用。

    源链接格式为https://www.xxxxxx.com?a=YY&b=ZZ

    爬虫只需要能实现更改不同的a和b就行。其中a是在几个固定的参数里面选,b是page页码。

    9 条回复    2017-03-10 12:43:35 +08:00
    yalay
        1
    yalay  
       2017-03-09 16:43:16 +08:00
    火车头?
    klxq15
        2
    klxq15  
       2017-03-09 16:47:22 +08:00 via Android
    用 python 循环一下不就搞定了,不过爬虫的难点在于提高爬取速度
    bazingaterry
        3
    bazingaterry  
       2017-03-09 16:47:52 +08:00 via iPhone
    Scrapy
    IanPeverell
        4
    IanPeverell  
       2017-03-09 16:50:33 +08:00
    一个方法是用 Scrapy 框架搭,另一个方法是用 requests 写
    问题除了速度还有反爬虫的问题,可以代理+随机改变请求的 HEAD
    lovejoy
        5
    lovejoy  
       2017-03-09 19:40:01 +08:00
    跟爬虫关系不大吧,你这个自己写脚本抓就好了
    figofuture
        6
    figofuture  
       2017-03-09 19:47:12 +08:00
    tomasyl
        7
    tomasyl  
       2017-03-09 21:39:14 +08:00
    nutch 啊
    voidtools
        8
    voidtools  
       2017-03-10 10:21:31 +08:00
    如果只有 2 位数的页面。。。好像没必要弄爬虫。。。 dtm 通配符搞一下就好勒
    lesxc
        9
    lesxc  
       2017-03-10 12:43:35 +08:00
    srcapy 就不说了,可以试试 webmagic 开箱即用!
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1243 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 18:34 · PVG 02:34 · LAX 11:34 · JFK 14:34
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.