V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
hiboshi
V2EX  ›  程序员

如何同步消息队列

  •  
  •   hiboshi · 2017-07-11 11:20:22 +08:00 · 2754 次点击
    这是一个创建于 2694 天前的主题,其中的信息可能已经有所发展或是发生改变。

    目前有多台 web 服务器,每台都会产生消息队列,现在想统一同步到 master 节点统一处理,哪种消息队列原生支持这种功能?刚刚看过 activemq、beanstalkd,为什么不直接写入 master 原因 是 国际带宽 延时比较高,尽量少用网络 IO。

    9 条回复    2017-07-12 09:39:22 +08:00
    heimonsy
        1
    heimonsy  
       2017-07-11 11:25:59 +08:00
    你是需要一个异步同步数据工具吧
    hiboshi
        2
    hiboshi  
    OP
       2017-07-11 11:29:09 +08:00
    @heimonsy 有什么推荐?你说的是 ETL 么?
    heimonsy
        3
    heimonsy  
       2017-07-11 11:33:22 +08:00
    @hiboshi 我只用过 rabbitmq,Federation 和 Shovel 这两个插件应该适合你。https://www.rabbitmq.com/shovel.html https://www.rabbitmq.com/federation.html
    hiboshi
        4
    hiboshi  
    OP
       2017-07-11 11:35:41 +08:00
    @heimonsy 好的我试试,只是 用 rabbit 有点太重
    zoues
        5
    zoues  
       2017-07-11 12:42:50 +08:00 via iPhone
    nsq
    ihuotui
        6
    ihuotui  
       2017-07-11 21:54:46 +08:00 via iPhone
    本地消息,然后服务器间同步 p2p
    hiboshi
        7
    hiboshi  
    OP
       2017-07-11 22:45:59 +08:00
    @ihuotui 使用 p2p 模式我清楚,但是服务器间同步 p2p,没太明白!
    ihuotui
        8
    ihuotui  
       2017-07-11 23:41:02 +08:00 via iPhone
    那些消息文件作为 同步的对象
    hiboshi
        9
    hiboshi  
    OP
       2017-07-12 09:39:22 +08:00
    多台服务器 ,同步消息文件到一个节点的时候 ,确定不会 丢消息么? 比如一个节点同步 被另外一个节点的文件覆盖了。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   4756 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 10:05 · PVG 18:05 · LAX 02:05 · JFK 05:05
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.