V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
justdoit123
V2EX  ›  Kubernetes

k8s 如何方便的查看一个节点上各个 pods 的资源使用情况?

  •  
  •   justdoit123 · 282 天前 · 1839 次点击
    这是一个创建于 282 天前的主题,其中的信息可能已经有所发展或是发生改变。

    场景:今天一个节点的内存使用超过警报值了。

    在排查问题的时候,想看看到底是什么 pods 把节点的内存资源吃光了。但是通过 kubectl describe node xxx 来查看这个节点的信息,上面只有每个 pods 的 resource requests & limits ,并不是实际的使用量。由于这个节点有好几个 namespaces 的 pods ,所以我就用比较笨的办法,配合 awk xargs 等,对每个 pod 逐一执行 kubectl top pod 查询实际内存的使用情况。

    问题:有没有更先进的方法来查询节点上各个 pods 的资源使用情况?感谢!

    16 条回复    2024-06-13 14:43:21 +08:00
    justdoit123
        2
    justdoit123  
    OP
       282 天前
    @salmon5 w(゚Д゚)w 哇哦! 感谢,感谢~
    Frankcox
        3
    Frankcox  
       282 天前   ❤️ 2
    你们公司的 k8s 运维没做任何可观测性的配置嘛?
    简单的有 mertics-server ,安了 metrics-server 就可以直接 kubectl top 查看 CPU 、内存信息。
    标准的选择就多了些,我们用的是 cadvisor+kube-state-metrics+prometheus+grafana ,这样看的信息维度就很广了
    justdoit123
        4
    justdoit123  
    OP
       282 天前
    @Frankcox grafana 里我看了下,主要都是根据 namespaces 的维度来看资源使用情况的,刚好没有节点的。metrics 我相信是收集了,只是没有配置对应的图表。 后续去看看怎么配置。
    Frankcox
        5
    Frankcox  
       282 天前
    @justdoit123 #4 grafana 的 PromQL 语句是自己写的,可以学下 Prometheus 的语法,查看每个 Node 的情况这种情景很常见的。
    justdoit123
        6
    justdoit123  
    OP
       282 天前
    说得很对,主要就是 PromQL 还不熟。 之前在生产环境上,把服务搞 OOM 过。准备自己搭一个学习环境 来玩一玩。
    ljian6530
        7
    ljian6530  
       282 天前 via iPhone
    @justdoit123 赞同 3 楼,其实就是 https://github.com/prometheus-operator/kube-prometheus 这个方案,是包含丰富图标的。并且有 node 的纬度的 pod 资源使用情况。让你们运维搞下。
    CivAx
        8
    CivAx  
       282 天前
    可以直接用 kube-prometheus-stack 这个 helm chart ,我也偶尔遇到跟你一模一样的问题,我是直接去 dashboard 看的。
    ExplodingFKL
        9
    ExplodingFKL  
       281 天前
    如果是在线调试的话直接上 k9s ,前提是安装了 metrics-server ,如果是监控的话直接 prometheus 和 kube-state-metrics
    fxalll
        10
    fxalll  
       281 天前
    minikube dashboard
    beyondstars
        11
    beyondstars  
       281 天前
    可以在集群上安装一个 metrics-server, 再安装一个 Lens.app 客户端。
    beyondstars
        12
    beyondstars  
       281 天前
    地址在这: https://k8slens.dev/
    cheng6563
        13
    cheng6563  
       281 天前
    kube-prometheus-stack helm 一把梭
    cheng6563
        14
    cheng6563  
       281 天前
    里面自带了很多 grafana 图表和告警规则,一般够用了。
    YaD2x
        15
    YaD2x  
       281 天前
    k8s 有 top 命令
    windcode
        16
    windcode  
       152 天前
    Lens 现在收费了,可以考虑这个新项目 https://github.com/KusionStack/karpor
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1029 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 20:29 · PVG 04:29 · LAX 12:29 · JFK 15:29
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.