V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
messi110
V2EX  ›  问与答

有没有开源的 功能比较强大的 可配置的爬虫项目 推荐一下

  •  
  •   messi110 · 2019-04-21 17:56:55 +08:00 · 2116 次点击
    这是一个创建于 2022 天前的主题,其中的信息可能已经有所发展或是发生改变。
    9 条回复    2019-05-07 17:53:37 +08:00
    andylsr
        1
    andylsr  
       2019-04-21 18:46:08 +08:00 via Android
    scrapy
    messi110
        2
    messi110  
    OP
       2019-04-21 18:49:37 +08:00
    @andylsr 我知道这个 就是想找个有没分装好的带 web 界面的那种 项目 github 上找了一下 没找到很好的
    mywaiting
        3
    mywaiting  
       2019-04-21 21:05:35 +08:00
    pyspider
    agdhole
        4
    agdhole  
       2019-04-21 21:11:59 +08:00 via Android
    基于 scrapy 的可视化 https://github.com/Gerapy/Gerapy
    malagebidi
        5
    malagebidi  
       2019-04-21 22:18:18 +08:00
    Huginn
    huixun
        6
    huixun  
       2019-04-21 22:31:08 +08:00
    hellosoft
    messi110
        7
    messi110  
    OP
       2019-04-21 22:46:32 +08:00
    @malagebidi @mywaiting @agdhole 谢谢 我去看看,
    我的需求可能要配置到列表页详情页啥的估计要自己开发一下
    而且好像 java 比较少 https://github.com/514840279/danyuan-application 试了下这个项目好像有点 bug 文档比较少
    messi110
        8
    messi110  
    OP
       2019-04-22 15:00:56 +08:00
    @huixun 这个说的没有找到。。
    messi110
        9
    messi110  
    OP
       2019-05-07 17:53:37 +08:00
    在顶一下 看看有没有
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1863 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 16:25 · PVG 00:25 · LAX 09:25 · JFK 12:25
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.