都说 RocketMQ 在 Topic 和分区多的场景下性能比卡夫卡要强,大家给出的原因是 commitLog 的组织方式是最核心的因素,rocketMQ 所有的消息都会顺序写入 commitLog,磁盘 IO 一直是顺序写入,而卡夫卡每个分区都有自己的消息持久化文件,分区多了之后相当于随机写。
但是我最近在看源码的时候发现,rocketmq 会为每个 consumerQueue 创建一个持久化文件用于保存消费进度,那么问题来了:在 Topic 多的时候 consumerQueue 也会随之增多,那么消费进度的持久化文件也会增多,不也相当于随机写么?为什么会和卡夫卡结果相反
再看看官网上关于 rocketmq 的描述,Topic 过多并不会太拖累 RocketMQ 的性能,想问问各位大佬我的理解是哪儿出了问题。
1
billlee 2021-01-17 21:16:45 +08:00
没用过 rocketmq, 但消费进度不是每消费一条都写一次的吧,影响比较小
|
2
taibai233 2021-01-18 10:37:46 +08:00
虽然没有看过他的实现,不过这里给你纠正一点:
现代的这些存储系统的持久化实现,为了实现高效,都是不直接落盘的。像这里虽然会有多个持久化文件,但也不是写一条落一条,而是会先写缓存,缓存满了,再批量写。这里多个 consumerQueue 可能就对应多个内存缓存块。他是不是会有 topic 多内存消耗多这种情况。 真正写一条落一条的只有 commitLog 这东西,这也是个主要受磁盘性能影响的东西。 |
3
h3nng 2021-01-18 14:49:26 +08:00 via iPhone
queue 只是索引记录,数据量很小
|