V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
stevenbipt
V2EX  ›  问与答

prometheus 怎么导出和加载监控的数据呢?

  •  
  •   stevenbipt · 2019-10-12 20:04:47 +08:00 · 5412 次点击
    这是一个创建于 1870 天前的主题,其中的信息可能已经有所发展或是发生改变。

    公司部署测试的时候,需要把 prometheus 的监控数据从云服务器上打包到本地工作环境然后在本地加载方便配合 log 进行调试,但是打包数据出了点问题,目前的做法是备份 metrics 文件夹内的数据,但是 prometheus 设置storage.tsdb.path以后在该目录下只有一个wal文件夹和lock文件,打包这个文件节要到本地,在本地 mac 启动时选择设置storage.tsdb.path为打包解压的文件夹,结果启动后傻眼了,数据都没有,有一次打包的时候找到了官方文档上的存储结构的文档,数据文件夹内的文件结构大致如下:

    ./data
    ├── 01BKGV7JBM69T2G1BGBGM6KB12
    │   └── meta.json
    ├── 01BKGTZQ1SYQJTR4PB43C8PD98
    │   ├── chunks
    │   │   └── 000001
    │   ├── tombstones
    │   ├── index
    │   └── meta.json
    ├── 01BKGTZQ1HHWHV8FBJXW1Y3W0K
    │   └── meta.json
    ├── 01BKGV7JC0RY8A6MACW02A2PJD
    │   ├── chunks
    │   │   └── 000001
    │   ├── tombstones
    │   ├── index
    │   └── meta.json
    └── wal
        ├── 00000002
        └── checkpoint.000001
    

    有一次测试的时候,发现并打包了这些文件,发现就能够顺利加载 metrics 数据,并在 grafana 上显示出来,目前在ubuntu18上使用apt直接安装运行和下载带有二进制的压缩包解压运行都没有找到这个存储结构。

    现在想问问:

    1. 这些文件怎么样才能找到?
    2. prometheus 怎么打包才能完美做到数据导出和加载?
    2 条回复    2019-10-13 11:58:41 +08:00
    kebyn
        1
    kebyn  
       2019-10-13 09:50:06 +08:00   ❤️ 1
    刚好也做了这个,但是我们的数据迁移后不强制要求保留的
    参考这个文档,总共有三种办法
    https://medium.com/@valyala/analyzing-prometheus-data-with-external-tools-5f3e5e147639
    `Exporting raw data via tsdb command-line tool`方案是手动迁移本地数据库
    `Exporting raw data via remote storage`基本上是官方提供的通用方案
    stevenbipt
        2
    stevenbipt  
    OP
       2019-10-13 11:58:41 +08:00
    @kebyn 太感谢了,我去看一下,似乎第一个方法的网址打不开
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5569 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 83ms · UTC 06:01 · PVG 14:01 · LAX 22:01 · JFK 01:01
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.