Linux OOM 排查实战:用 cgroup v2、PSI 与 memory.events 定位真凶 原创
“容器被 OOMKilled,是不是把 memory.max 调大就行?”这个问题往往问得太早。先确认是谁触发了 OOM、哪一级 cgroup 达到了上限、哪些内存真的被回收过,再决定修应用、修限制还是修隔离。Linux 的 OOM 结果可能是进程被杀、systemd 服务失败,也可能是整个 cgroup 被终止;这些不是同一种故障。
本文以 cgroup v2 + systemd 为基线,给出一套可复现、可回退的排查流程。示例中的 256M 只是实验限制,不是生产建议。
1. 先分清:VM 超分、内存不足与 OOM Kill
应用日志里的 “OutOfMemoryError” 不一定来自 Linux OOM killer。JVM 堆、语言运行时或数据库自己的内存池都可能先报错。反过来,进程消失且没有应用异常日志,也不等于宿主机物理内存耗尽:它可能只碰到了自己所在 cgroup 的 memory.max。
| 证据 | 更可能的方向 | 不要直接下的结论 |
|---|---|---|
memory.events 中 max 增长,oom_kill 不变 |
达到限制并发生回收/节流,但尚未发生 OOM kill | “服务已经被 OOM 杀过” |
oom_kill 增长,进程退出码为 137 |
存在 SIGKILL;结合内核日志确认 OOM | “137 就必然是物理机 OOM” |
high 增长,服务变慢但未退出 |
软限制生效,进程可能被节流并承受回收压力 | “不重启就没有内存问题” |
PSI 持续升高,但 max、oom 均为零 |
可能是回收、缺页或 IO 路径造成停顿,继续关联磁盘与工作集 | “PSI 高就加内存” |
退出码 137 只代表 128 + SIGKILL(9)。人工执行 kill -9、容器运行时停止超时、系统 OOM 都可能得到它。证据必须相互印证。
2. 确认统一层级,并找到进程真正所属的 cgroup
先确认挂载的是 cgroup v2,而不是只看某个配置文件是否存在:
stat -fc '%T' /sys/fs/cgroup
# cgroup v2 应输出:cgroup2fs
cat /sys/fs/cgroup/cgroup.controllers
# 需要看到 memory;控制器出现在这里不等于所有子层级都已启用。
从实际进程反查路径,比猜 Docker 容器 ID 或 Kubernetes Pod UID 更可靠:
PID=12345
cat /proc/$PID/cgroup
# v2 常见形式:0::/system.slice/demo.service
CG=$(awk -F: '$1=="0" {print $3}' /proc/$PID/cgroup)
printf 'cgroup path: %s\n' "$CG"
cat "/sys/fs/cgroup${CG}/memory.events"
cat "/sys/fs/cgroup${CG}/memory.current"
cat "/sys/fs/cgroup${CG}/memory.peak"
如果进程已经退出,/proc/$PID 就不存在了。此时使用 service 名称或容器运行时记录的 cgroup 路径;不能拿新进程的路径冒充旧进程的历史证据。systemd 服务可直接查:
systemctl show demo.service -p ControlGroup -p MainPID \
-p MemoryCurrent -p MemoryPeak -p MemoryMax -p MemoryHigh -p MemorySwapMax
CG=$(systemctl show demo.service -p ControlGroup --value)
cat "/sys/fs/cgroup${CG}/memory.events"
还要看父级。/system.slice/demo.service 没超限,不代表 /system.slice 或父 slice 没超限。用下面命令列出沿路径可见的事件计数:
CG=$(systemctl show demo.service -p ControlGroup --value)
P="/sys/fs/cgroup${CG}"
while [ "$P" != "/sys/fs/cgroup" ] && [ -n "$P" ]; do
echo "--- $P"
grep -E '^(high|max|oom|oom_kill|oom_group_kill) ' "$P/memory.events" 2>/dev/null
P=${P%/*}; [ -z "$P" ] && P=/sys/fs/cgroup
done
根 cgroup 不一定提供全部 memory 接口文件;缺文件时不要将其误读成“计数为零”。
3. 读懂 memory.events:五个计数对应五个阶段
cgroup v2 的 memory.events 是累计计数,不是当前值。至少间隔采样两次,并保存时间戳;单次全为零只能说明这个接口从建立以来没有观察到事件。
| 字段 | 含义 | 处置提示 |
|---|---|---|
low |
因低于 memory.low 保护线而跳过回收的次数 |
不是错误,不要当成 OOM 前兆 |
high |
超过 memory.high 后触发回收/节流的次数 |
持续增长通常对应时延与 CPU 开销,需要与 PSI 关联 |
max |
达到 memory.max 的次数 |
表示硬上限压力,不等于 kill 次数 |
oom |
cgroup 内内存耗尽并进入 OOM 处理 | 可能经历了重试,不能用来精确统计死亡进程数 |
oom_kill |
因 OOM 被 kill 的任务数 | 是强证据,但仍要对照内核日志确认是哪一级触发 |
oom_group_kill |
启用 memory.oom.group 后按组终止的事件 |
同一组内多个进程可能一起退出 |
可保存一段只读采样脚本到运维工具库,避免故障时临时拼命令:
#!/bin/sh
# 用法:./sample-memory.sh /sys/fs/cgroup/system.slice/demo.service
set -eu
CG=$1
for round in 1 2 3; do
date -Is
for f in memory.current memory.peak memory.max memory.high \
memory.swap.current memory.events memory.stat; do
[ ! -r "$CG/$f" ] || { echo "--- $f"; cat "$CG/$f"; }
done
grep '^some\|^full' /proc/pressure/memory 2>/dev/null || true
[ "$round" = 3 ] || sleep 5
done
memory.peak 是水位记录,不是过去一分钟的平均值;memory.current 包含的也不只是业务堆内存,page cache、内核内存等也计入 cgroup 记账。不要用 rss × 进程数 与 current 机械对账。
4. 用 memory.stat 回答“内存花在哪里、回收有没有效果”
CG=/sys/fs/cgroup/system.slice/demo.service
grep -E '^(anon|file|kernel|slab|sock|shmem|file_mapped|file_dirty|file_writeback|inactive_anon|active_anon|inactive_file|active_file|pgfault|pgmajfault|workingset_refault_anon|workingset_refault_file|pgactivate|pgdeactivate|pglazyfree|pglazyfreed|pgscan|pgsteal) ' \
"$CG/memory.stat"
- anon 持续接近上限:优先查堆、无界队列、连接缓冲区或泄漏。直接扩 cache 配置通常无帮助。
- file/page cache 占比较高:检查大文件读写、日志访问与备份任务;可回收 cache 与不可回收匿名内存的处理方式不同。
- kernel/slab/sock 异常:不要只盯应用 RSS。大量 socket、内核对象或网络缓冲也可能成为限制压力来源。
- workingset_refault_* 增长:此前回收的工作集又被重新调入,提示“回收后立刻再缺页”的抖动风险;需结合 refault 类型与 IO 延迟分析。
- pgmajfault 增长:主缺页需要实际 IO,但要结合存储指标判断,不能仅凭它断言磁盘故障。
memory.stat 中部分扫描/回收指标按 pgscan_kswapd、pgscan_direct、pgsteal_kswapd、pgsteal_direct 等细分。精确字段以当前内核文件为准,不要为了匹配旧教程而假设所有内核都有完全相同的字段集合。
5. 用受控实验验证,而不是在生产里制造 OOM
下面的 transient service 将实验进程限制在独立 cgroup,不影响现有服务。只在测试机或明确批准的维护窗口运行;Python 子进程会真实申请约 192 MiB 匿名内存并触碰页面。
sudo systemd-run \
--unit=oom-lab --wait --collect \
--property=Type=exec \
--property=MemoryMax=256M \
--property=MemorySwapMax=0 \
/usr/bin/python3 -c 'import time; x=bytearray(192*1024*1024); \
[(x.__setitem__(i, 1)) for i in range(0, len(x), 4096)]; time.sleep(300)'
另开终端读取实验组的指标:
CG=/sys/fs/cgroup/system.slice/oom-lab.service
cat "$CG/memory.max"
cat "$CG/memory.current"
cat "$CG/memory.peak"
cat "$CG/memory.events"
systemctl status oom-lab.service --no-pager
为了验证 kill 路径,可以另起一个更低限制的新实验单元(例如 oom-lab-kill),不要修改正在运行的生产 unit。若预期触发 OOM,检查:
systemctl show oom-lab-kill.service \
-p Result -p ExecMainCode -p ExecMainStatus -p OOMPolicy
sudo journalctl -k --since '-10 min' --no-pager | \
grep -Ei 'out of memory|oom-kill|killed process|memory cgroup'
不要只观察 systemd-run 是否返回非零。应把 memory.events 的增量、unit 结果和内核日志三者对齐。--collect 会在结束后清理临时 unit,故障信息先从 journal 查询;若实验后需要继续读 cgroup 文件,可在测试环境去掉 --collect,采样结束再 systemctl stop 并 systemctl reset-failed。
6. memory.low、high、max 不是“三个版本的上限”
| 参数 | 用途 | 主要风险 |
|---|---|---|
memory.low |
尽力保护该 cgroup 的工作集,父级回收时优先避让 | 保护不是硬保留;配置过高可能把回收压力转移给同级服务 |
memory.high |
超过后主动回收并节流,是主要压力调节点 | 过低会造成持续 direct reclaim 与时延抖动 |
memory.max |
硬上限,无法继续回收时进入 OOM | 过高会把压力推迟到父级或整机,过低则频繁 OOM |
memory.swap.max |
限制此 cgroup 可使用的 swap | swap 是缓冲,不是修复匿名内存泄漏的手段 |
systemd 服务可通过 drop-in 做可审计调整。示例为数据库服务保留硬上限,并设置一个低于硬上限的压力调节点;具体数值必须来自基线,不能照抄:
sudo systemctl edit demo.service
# 写入:
[Service]
MemoryHigh=3G
MemoryMax=4G
MemorySwapMax=0
sudo systemctl daemon-reload
sudo systemctl restart demo.service
systemctl show demo.service -p MemoryHigh -p MemoryMax -p MemorySwapMax
回退必须删除本次 drop-in 中的新增属性或恢复旧值,然后重新加载并重启;仅执行 daemon-reload 不会改变已经运行进程的 cgroup。空值可用于取消对应 systemd 属性限制,但操作前应通过 systemctl cat demo.service 确认所有叠加配置,避免误删同事设置的约束。
memory.min/low 的保护依赖父级层级与可用内存,不是绕过物理内存的配额;systemd 的 MemoryAccounting 通常默认启用,但若手动关闭,资源统计与控制需要单独核查。
7. Kubernetes 不要只看容器最后一行状态
kubectl describe pod -n production api-7d9f8c6b5-x2abc
kubectl get pod -n production api-7d9f8c6b5-x2abc \
-o jsonpath='{range .status.containerStatuses[*]}{.name}{" restart="}{.restartCount}{" last="}{.lastState}{"\n"}{end}'
kubectl get pod -n production api-7d9f8c6b5-x2abc -o yaml | \
grep -A12 -E 'resources:|lastState:'
容器 limits.memory 映射到 cgroup 限制,但节点、kubelet、运行时与 Pod 层级都有相关约束。看到 reason: OOMKilled 后仍应到节点读取对应 cgroup 的 memory.events 与内核日志;如果只有容器运行时状态而没有计数或日志,先记录证据缺口,不要编造根因。
Java、Go、数据库连接池和应用缓存还需要分别设上限。容器 limit 是整个 cgroup 的预算,不是 JVM 堆或 Go heap 的专属额度。留出的空间至少应覆盖非堆内存、线程栈、直接缓冲区、子进程、page cache 与内核记账,并通过峰值数据验证。
8. 一个避免误判的处置决策表
| 观测组合 | 优先动作 | 验证指标 |
|---|---|---|
| anon 单调增长,重启后重复出现,max/oom_kill 增长 | 抓 heap/profile,检查无界队列与对象生命周期;临时限额只用于隔离爆炸半径 | 同负载下 anon 斜率、GC 后基线、oom_kill 增量 |
| high 持续增长、PSI some/full 与延迟上升,但无 oom | 检查 high 是否过低、回收是否挤占 CPU,核对工作集与同级服务 | high 增量、PSI、direct reclaim、P95/P99 |
| file cache 大且 refault/majfault 与 IO 延迟同步上升 | 检查备份、批处理与顺序扫描,必要时错开 IO 高峰 | refault、majfault、磁盘 await、业务延迟 |
| 服务组无 max,但父 slice 有 max/oom | 排查父级总预算与同级服务,不要只扩本服务 max | 父级 current/events、同级峰值是否重叠 |
| 退出码 137,但 oom_kill 无增量、内核无 OOM 日志 | 查部署停止、探针、运行时超时、人工 SIGKILL | unit 日志、Kubernetes 事件、审计与发布记录 |
9. 上线前的最小检查清单
- 保存故障前后的
memory.events两次采样,不凭单个零值判断。 - 从旧进程或 unit 记录确认真实 cgroup,并检查父级。
- 把 anon/file/kernel、PSI、IO 延迟与业务 P99 放在同一时间轴。
- 区分
max、oom、oom_kill,不要互相替代。 - 限额变更通过 drop-in 或声明式配置提交,记录旧值与回退方式。
- 变更后用同一负载验证;至少观察一个完整业务峰值,而不是只看重启后的五分钟。
真正需要修的经常不是“内存不够”,而是边界放错、预算重叠或工作集不可控。把事件计数、内存构成和进程行为串起来,才能避免每次 OOM 都以一次更大的 limit 暂时结束。