V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Distributions
Ubuntu
Fedora
CentOS
中文资源站
网易开源镜像站
plko345
V2EX  ›  Linux

prometheus federation 的内存问题

  •  
  •   plko345 · 2019-12-18 23:01:25 +08:00 · 3171 次点击
    这是一个创建于 1801 天前的主题,其中的信息可能已经有所发展或是发生改变。

    遇到一个问题, prometheus-1 通过 federate 去 pull 另一个 prometheus-2 上的数据时, 大多成功, 但是当在一段时间内出现多次 timeout 的情况, 这时 prometheus-1 的内存会暴涨好几个 GB, 想知道这时 prometheus-1 上的工作机制是什么, 是什么原因导致它需要这部分内存

    强调下, 是在一段时间内出现多次 pull 失败才暴涨

    我的猜测

    1. prometheus pull 这部分数据失败, 因为数据不完整, 需要将已经获得的部分数据清理掉, 可是这时一个 HTTP 请求并没有完成, 这"部分数据"存在吗?
    2. pull timeout 后, 因为到了下一次的 pull, 开始新的 pull 的同时, 需要处理掉前一个未完成请求, 将其加载到内存中处理, 似乎还是 1 的样子
    3. prometheus 内部的某种机制需要它在 pull timeout 时做些秘密的工作...

    如果可以提供下相关的博客文档也可以, 搜索了好些信息, 发现都没有解释这一现象的, 先谢谢大家

    目前尚无回复
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2804 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 12:59 · PVG 20:59 · LAX 04:59 · JFK 07:59
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.