V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
jakeyfly
V2EX  ›  问与答

我在写个爬虫,想问一下大家这种思路是不是错误的。

  •  
  •   jakeyfly · 2018-11-25 11:18:01 +08:00 · 1743 次点击
    这是一个创建于 2173 天前的主题,其中的信息可能已经有所发展或是发生改变。

    因为是监控很多个一个网站的很多个不同的目标源,所以我决定用 APS 启动多个异步任务抓取(根据每个任务的特征,判断启动时间与结束时间,请求间隔设成五分钟一次这样)

    然后这些抓取的内容先不洗清,按事先搞好分类扔进不同的 KAFKA 频道。

    另一边不同的洗清模块从不同的 KAFKA 频道抽取,进行清洗,并存入 SQL 数据库,一般是 MYSQL

    这样的话,我很容易就写成,抓取与清洗是两个程序。等于需要启动两个程序。一个启动爬虫抓,另一个启动清洗程序,是否成熟的作法是只有一个入口文件,启动后两个都开始执行?

    第 1 条附言  ·  2018-11-25 12:34:30 +08:00
    谢谢大佬们回复 ,另想问一下,KAFKA 占用资源大不,因为只是个小项目。
    6 条回复    2018-11-25 14:47:01 +08:00
    leonme
        1
    leonme  
       2018-11-25 11:41:46 +08:00 via Android
    第一个分号之前的内容都没读明白
    leonme
        2
    leonme  
       2018-11-25 11:42:02 +08:00 via Android
    @leonme 逗号,不是分号
    Wincer
        3
    Wincer  
       2018-11-25 11:43:22 +08:00 via Android
    抓取和清洗应该是两个模块,但可以不用是两个程序。
    jakeyfly
        4
    jakeyfly  
    OP
       2018-11-25 11:52:57 +08:00
    @Wincer 我是两个模块,只是我现在写成,两个入口文件了,是不是写的有问题
    zn
        5
    zn  
       2018-11-25 12:04:20 +08:00 via iPhone
    说得挺明白了。

    这么说吧,两种方法都可以,并没太大优劣之分。

    如果是我,我会分开,会更方便开发和调试。还能一边默默爬,一边调试清洗程序,互不干涉。
    kslr
        6
    kslr  
       2018-11-25 14:47:01 +08:00
    一个项目随便跑一个 queue 不就行了
    我觉得分开比较好,因为可能速度不一致
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5907 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 06:42 · PVG 14:42 · LAX 22:42 · JFK 01:42
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.