V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
U87
V2EX  ›  问与答

通用化自动爬虫功能,没啥实现思路了....

  •  
  •   U87 · 2018-10-18 11:22:34 +08:00 · 2115 次点击
    这是一个创建于 2207 天前的主题,其中的信息可能已经有所发展或是发生改变。

    目前有这么个需求,前台通过编辑添加网址的方式,后台的爬虫自动爬取该网址.目前的思路是前台添加的存到数据库,写个定时任务读数据库的 url,如果 url 有增加,再写个通用爬虫框架,把 url 放到通用爬虫框架里,实现自动化配置爬虫. 现在这个通用爬虫框架有点难搞啊 @__@

    7 条回复    2018-10-18 16:21:51 +08:00
    aino
        1
    aino  
       2018-10-18 13:53:40 +08:00
    我写过一个,也是前台配置好 URL,并且配置好爬取规则( xml 格式),后台就一套爬取逻辑,遍历 xml 去执行爬取任务
    519718366
        2
    519718366  
       2018-10-18 14:49:22 +08:00
    你可以借鉴下 webmagic 的产品化方案
    https://github.com/code4craft/webmagic/issues/43
    U87
        3
    U87  
    OP
       2018-10-18 15:11:52 +08:00
    @aino 这个有点东西的呀.能私聊下吗
    U87
        4
    U87  
    OP
       2018-10-18 15:12:10 +08:00
    @519718366 好滴谢谢
    jisibencom
        5
    jisibencom  
       2018-10-18 15:15:00 +08:00 via Android
    有的,scrpy 有 web 版,还有个国产的什么搜客吧,不过用了之后你会发现连火车头的 1%的便捷性都不到。
    aino
        6
    aino  
       2018-10-18 15:22:32 +08:00
    @U87 #3 有什么需要问的吗
    U87
        7
    U87  
    OP
       2018-10-18 16:21:51 +08:00
    @aino 有的 能加 qq 吗
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   990 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 20:12 · PVG 04:12 · LAX 13:12 · JFK 16:12
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.