V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
rqxiao
V2EX  ›  Java

kafaka 里消息分优先级可以怎么样实现

  •  
  •   rqxiao · 2020-12-15 11:22:43 +08:00 · 2386 次点击
    这是一个创建于 1439 天前的主题,其中的信息可能已经有所发展或是发生改变。

    rt 高优先级的消息可以优先被消费

    3 条回复    2020-12-15 17:53:24 +08:00
    yukong
        1
    yukong  
       2020-12-15 17:26:58 +08:00   ❤️ 1
    首先是 kafka 你这个 kafaka 有点震惊我了
    yukong
        2
    yukong  
       2020-12-15 17:29:17 +08:00   ❤️ 1
    其次 kafka 是基于 partition 有序的一个消息队列没法天然实现优先级消费, 不过你可以搞点骚操作 给每个 partition 带上业务优先级,比如一个 topic 有 5 个分区 我们任务 0 号分区的优先级最高,生成者通过算法得出优先级发送指定分区,消费者每次 pull 数据优先 pull0 分区的数据以达到消息优先级的目的。
    vus520
        3
    vus520  
       2020-12-15 17:53:24 +08:00   ❤️ 1
    多个 Topic
    ok, 下一个。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2516 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 15:33 · PVG 23:33 · LAX 07:33 · JFK 10:33
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.