Docker 容器内存一直增长被 OOM Killer 的问题

[JamesTao]

在两台服务器上使用 docker 部署了相同的服务
基础镜像是 openjdk:17-oracle, 容器限制了 2G 内存
容器内运行了 springboot, JAVA_OPTS 设置为 -Xms512m -Xmx1536m
容器运行一段时间后, 被系统 oom killer, 被 kill 前观测到容器使用内存接近 2G. 进入容器用 top 命令查看, java 占用内存和容器使用内存保持一致, 都是接近 2G
两个容器均发生此现象

在排除 jvm heap 内存泄漏后. 做了如下调整
JAVA_OPTS 设置为 -Xms750m -Xmx750m -XX:MaxDirectMemorySize=750m, 进入容器查看 NMT 数据如下




现在的问题是
1. 为什么两个容器实际使用的内存不一样, 但是 NMT 的数据几乎一致
2. 如何定位和解决现在 java 内存一直在增长并造成 oom killer 的问题

谢谢

[FaustY]

之前遇到过类似的，换了 oracle jdk 的容器就好了

[FaustY]

自己打基础镜像或者用 bitnami/java

[lingcen000]

实际就是堆外内存一直增长导致的，加了限制就好了

[guanzhangzhang]

有个最常见问题就是，低版本 jdk 无法识别 cgroup 内存限制

[JamesTao]

@lingcen000 请问下如何限制堆外内存呢?

@guanzhangzhang 用的基础镜像也是官方的, 系统和 jdk 的版本应该都对上吧

[zhady009]

容器限制了 2G, JVM 最大堆 1536m 堆外一般不会那么大具体得看你啥应用, 排查的话用 JFR 看事件很容易就能看出来