V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
The Go Programming Language
http://golang.org/
Go Playground
Go Projects
Revel Web Framework
xiangdong1987
V2EX  ›  Go 编程语言

消息队列的一些折腾心得

  •  
  •   xiangdong1987 · 2019-08-27 20:43:11 +08:00 · 5363 次点击
    这是一个创建于 1913 天前的主题,其中的信息可能已经有所发展或是发生改变。

    最近一段时间都在整理知识体系,还没整理完备,然后就被拉着做新的消息队列的接入,原来使用 kafka,切到了 rabbitmq。切换还算顺利,同时又有同事想做日志系统的想法。我突然灵光一线,为什么不能 filebeat + 消息队列实现集中式日志管理呢?

    调研

    折腾 filebeats

    • Go 的 kafka 已经折腾过了,为了给自己练练手准备让 filebeats 支持 rabbitmq。
    • 找到了 https://github.com/sidleal/mqttout
    • 自己尝试使用发现新版 filebeat 的接口有些改变,而且他用的链接 rabbitmq 的底层库也比较老,唯有自己动手
    • 在原有的基础上做了改动 https://github.com/xiangdong1987/mqttout 感觉能用,用的到大家随便用。

    总结

    学习的过程就是想到就去实践,不懂得就去学习,最后达成目标,估计这就是一个大龄程序员还能继续码代码的动力了。继续整理知识体系去了。留下一个思路,用 kafka+filebeats 实现模调系统以及日志系统。或者听听各位大神的意见。

    13 条回复    2019-09-03 09:54:24 +08:00
    defunct9
        1
    defunct9  
       2019-08-27 21:05:49 +08:00 via iPhone
    filebeat kafka es kibana,我司有套这样的玩意
    alexzhu592
        2
    alexzhu592  
       2019-08-27 22:02:17 +08:00
    直接上 kafka + flume
    rrfeng
        3
    rrfeng  
       2019-08-27 22:04:28 +08:00
    灵光一线?
    这明明是成熟的方案……
    CEBBCAT
        4
    CEBBCAT  
       2019-08-27 23:25:25 +08:00 via Android
    楼主大大,歪个题想问问您找实习的事儿。

    想请教一下 2020 毕业的软件工程想在这个秋招找份 Golang 实习需要什么技能?之前在滴滴实习过,但只是打杂。拿过一个蓝桥杯国赛二等奖,有一点薄薄的项目经验,目前已经熟悉 Golang 基本语法了,还写过一个 Golang 小工具:
    https://gist.github.com/Zhang-Siyang/3ad1ffe68f4d65901d6a5367894e96d7
    Pythondr
        5
    Pythondr  
       2019-08-28 02:13:06 +08:00 via Android
    说个小众的 ,pulsar 了解一下
    JerryKwan
        6
    JerryKwan  
       2019-08-28 09:26:08 +08:00
    @Pythondr 据说 Pulsar 比 Kafka 更灵活,在生产中用过没?
    LeeSeoung
        7
    LeeSeoung  
       2019-08-28 09:29:05 +08:00
    filebeat + elk?
    xiangdong1987
        8
    xiangdong1987  
    OP
       2019-08-28 09:49:28 +08:00
    @defunct9 #1 嗯 我是 php 栈的 java 栈玩不转 所以想 用 php 消费日志 自己做个日志或者模调之类的 哈哈
    xiangdong1987
        9
    xiangdong1987  
    OP
       2019-08-28 09:49:59 +08:00   ❤️ 1
    @CEBBCAT #4 建议直接投抖音 我司 不是 Go 栈
    xiangdong1987
        10
    xiangdong1987  
    OP
       2019-08-28 09:50:20 +08:00
    @Pythondr #5 我去了解下
    helloSpringBoot
        11
    helloSpringBoot  
       2019-08-28 10:15:52 +08:00
    @CEBBCAT 字节想投吗,可以内推
    robertlyc
        12
    robertlyc  
       2019-08-28 10:23:41 +08:00
    nsq 哪
    lbp0200
        13
    lbp0200  
       2019-09-03 09:54:24 +08:00
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1072 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 20ms · UTC 19:01 · PVG 03:01 · LAX 11:01 · JFK 14:01
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.