之前面试被问到,延迟消息是怎么实现的,kafka 是不支持延迟的,当时答的不好,面试官建议我下来以后了解下延迟消息的实现算法 我发现用 Thread.sleep 不就能很简单的实现延迟的执行一个消息吗,可能存在的问题就是当需要延迟的消息过多的时候,可能会创造过多的线程导致栈溢出,现存的几个延迟消息的实现有时间轮算法,有基于 delayQueue 的 sheduleThreadPool ,大家怎么看这个问题呢
1
viosey 2022-09-10 00:26:01 +08:00 via iPhone
有一种方案是创建一个 delay topic ,等到延时时间到了再转发给业务 topic
|
2
documentzhangx66 2022-09-10 00:29:39 +08:00
你用 Thread.sleep 实现延迟,程序崩了或系统宕机,数据就丢了。
生产系统一般是用数据库来实现延迟并保证数据不丢失。 |
3
Ayanokouji 2022-09-10 00:30:26 +08:00
如果延迟一天或一个月呢,中间服务重启了呢
|
4
javapythongo 2022-09-10 00:47:30 +08:00
可以看下 RocketMQ 的延迟消息实现
|
5
xmh51 2022-09-10 00:48:57 +08:00
其实估计面试官想问怎么用 kafka 的分片有序的特性来实现延迟消息。。
|
6
FreeEx 2022-09-10 09:46:50 +08:00 via iPhone
|
7
BBCCBB 2022-09-10 11:43:41 +08:00 1
要考虑的是如何支持大量, 任意延时时间的延时消息. 你这些 delayQueue 什么的都只是在内存里.
rocketmq 开源的延时消息实现也不好. 目前开源这块实现最好的是去哪儿开源的 qmq. https://github.com/qunarcorp/qmq 原理参见这个文章: https://github.com/qunarcorp/qmq, 按时间段存文件, 加在最近一段时间的消息存储文件. 然后再用 delayQUeue/时间轮之类的来跑. |
8
BBCCBB 2022-09-10 11:45:03 +08:00
|
9
Scarb 2022-09-10 17:05:08 +08:00
|
10
sodulty 2022-09-10 20:29:12 +08:00
RabbitMQ 有延迟队列插件,小数据量的系统可以直接用
|
11
luoqeng 2022-09-10 23:16:08 +08:00
pulsar 支持
|
13
chenshun00 2022-09-11 14:01:01 +08:00
时间轮算法
|
14
raaaaaar 2022-09-11 19:37:44 +08:00
延时消息 -> 定时消息?
|
15
night98 2022-09-12 00:43:58 +08:00
目前主流的就是时间轮,多重时间轮,秒级分段(类似 zset ),还是要和面试官确认一下具体的提问点,或者具体讨论一下
|