首页
注册
登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请
登录
V2EX 提问指南
广告
V2EX
›
问与答
RabbitMQ 消费存储到 Mysql 的速度?
1
ARhen
·
2019-08-13 10:36:00 +08:00
· 1631 次点击
这是一个创建于 1930 天前的主题,其中的信息可能已经有所发展或是发生改变。
项目基础 :Springboot+MQ+Druid+Mysql
因为需要从 api 获取到 1kw 左右的数据,现在的做法是 api->mq->mysql。
存的数据基本是些文章数据,因此我还把 titile、content 单独放了张表
消费那边我开线程,发现手动 ack 速度稳定在 200~300
不知道这个速度是否正常,还是很低?有大佬能提下建议或者看法嘛?
MySQL
springboot
api-
mq-
2 条回复
•
2019-08-13 12:08:02 +08:00
1
1ffree
2019-08-13 11:32:41 +08:00
1
单机消费 300 不少了,瓶颈就在消费端吧
首先确保数据写已经优化好,然后扩消费端机器&线程, 再后面就是数据库性能了
2
ARhen
OP
2019-08-13 12:08:02 +08:00
@
1ffree
嗯,程序放在服务器上跑了,基本上在这个速度。
开了一个线程池,线程池最大容纳线程刚好和最大预取数一致,也就是 50
之前测试过,开多个程序感觉 ack 速度提不上来,没有明显的 1+1 的效果
不知道是不是 mysql 那边的问题了。
还有就是有个奇怪的地方,多台消费端的话,如何友好的处理这些消费端? 消费端一直开着嘛?后期队列有一条就会被拿走?
关于
·
帮助文档
·
博客
·
API
·
FAQ
·
实用小工具
·
885 人在线
最高记录 6679
·
Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 33ms ·
UTC 21:42
·
PVG 05:42
·
LAX 13:42
·
JFK 16:42
Developed with
CodeLauncher
♥ Do have faith in what you're doing.