V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
cqxxxxxxx
V2EX  ›  问与答

有没有开源的针对用户级别监控的方案

  •  
  •   cqxxxxxxx · 2020-01-14 09:45:33 +08:00 · 2508 次点击
    这是一个创建于 1754 天前的主题,其中的信息可能已经有所发展或是发生改变。

    需求:服务监控项目,但不仅仅是应用级别的监控,还需要有用户级别监控能力。

    大致功能如下:

    1. 需要监控全局的请求数、耗时、高低峰、CPU、Memory 等等应用级别指标
    2. 需要监控用户 /第三方应用调用的情况,包括请求数、耗时、高低峰
    3. 整个微服务调用链路监控

    调研了 Prometheus、Skywalking 都只满足部分需求。

    1. Prometheus 官方文档说不能用于规模大的比如用户进行监控,所以只能用于应用级别监控。(虽然目前量很小,也可以用 Prometheus 集成用户级别接口监控,但是长远看感觉还是不合适)
    2. SkyWalking 专门针对调用链路监控,也无法进行用户级别的调用进行监控。
    问题 1:有没有其他开源项目能支持我这个需求(主要 1,2 两点,调用链路监控可以单独做)
    问题 2:支付宝或者微信开放平台的针对每个注册开发者的监控是如何实现的?例如( https://docs.open.alipay.com/264/gbnkos/)
    问题 3:如果没有合适的开源项目能支持,我目前想法是基于 ES 或者其他时序数据库进行开发,各位有没有什么建议。(主要参考 Prometheus 的指标规范来设计开发)
    6 条回复    2020-01-14 16:16:14 +08:00
    CallMeReznov
        1
    CallMeReznov  
       2020-01-14 09:56:32 +08:00 via Android   ❤️ 1
    zabbix
    自己添加一些监控项
    然后多整点代理减轻 server 压力
    cqxxxxxxx
        2
    cqxxxxxxx  
    OP
       2020-01-14 10:00:05 +08:00 via Android
    @CallMeReznov 好的 谢谢 我关注下 zabbix
    oaix
        3
    oaix  
       2020-01-14 10:05:38 +08:00   ❤️ 1
    一般 prometheus 之类的 TSDB,维度的基数不能太大。
    用 ES 可以参考这篇文章设置 mapping: https://www.elastic.co/cn/blog/elasticsearch-as-a-time-series-data-store
    cqxxxxxxx
        4
    cqxxxxxxx  
    OP
       2020-01-14 10:11:12 +08:00 via Android
    @oaix 是的 感觉如果要做用户级别的监控还是得上 es。
    oott123
        5
    oott123  
       2020-01-14 11:00:03 +08:00 via Android   ❤️ 1
    clickhouse
    ps1aniuge
        6
    ps1aniuge  
       2020-01-14 16:16:14 +08:00   ❤️ 1
    zabbix + 《卡死你 3000 》即可。Prometheus + 《卡死你 3000 》也行。

    1 《卡死你 3000 》:
    强大的批量任务引擎,它是单挑 ansible 的东东。欢迎了解下 https://gitee.com/chuanjiao10/kasini3000

    2 需要监控用户 /第三方应用调用的情况,包括请求数、耗时、高低峰----------这个在我看,就是一台机子,上面安装了 redis。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1940 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 16:21 · PVG 00:21 · LAX 09:21 · JFK 12:21
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.