Linux OOM 排查实战:用 cgroup v2、PSI 与 memory.events 定位真凶 原创

温馨提示:
本文最后更新于 2026-11-21,已超过 0 天没有更新。 若文章内的图片失效(无法正常加载),请留言反馈或直接 联系我。

“容器被 OOMKilled,是不是把 memory.max 调大就行?”这个问题往往问得太早。先确认是谁触发了 OOM、哪一级 cgroup 达到了上限、哪些内存真的被回收过,再决定修应用、修限制还是修隔离。Linux 的 OOM 结果可能是进程被杀、systemd 服务失败,也可能是整个 cgroup 被终止;这些不是同一种故障。

本文以 cgroup v2 + systemd 为基线,给出一套可复现、可回退的排查流程。示例中的 256M 只是实验限制,不是生产建议。

1. 先分清:VM 超分、内存不足与 OOM Kill

应用日志里的 “OutOfMemoryError” 不一定来自 Linux OOM killer。JVM 堆、语言运行时或数据库自己的内存池都可能先报错。反过来,进程消失且没有应用异常日志,也不等于宿主机物理内存耗尽:它可能只碰到了自己所在 cgroup 的 memory.max。

证据 更可能的方向 不要直接下的结论
memory.events 中 max 增长,oom_kill 不变 达到限制并发生回收/节流,但尚未发生 OOM kill “服务已经被 OOM 杀过”
oom_kill 增长,进程退出码为 137 存在 SIGKILL;结合内核日志确认 OOM “137 就必然是物理机 OOM”
high 增长,服务变慢但未退出 软限制生效,进程可能被节流并承受回收压力 “不重启就没有内存问题”
PSI 持续升高,但 max、oom 均为零 可能是回收、缺页或 IO 路径造成停顿,继续关联磁盘与工作集 “PSI 高就加内存”

退出码 137 只代表 128 + SIGKILL(9)。人工执行 kill -9、容器运行时停止超时、系统 OOM 都可能得到它。证据必须相互印证。

2. 确认统一层级,并找到进程真正所属的 cgroup

先确认挂载的是 cgroup v2,而不是只看某个配置文件是否存在:

stat -fc '%T' /sys/fs/cgroup
# cgroup v2 应输出:cgroup2fs

cat /sys/fs/cgroup/cgroup.controllers
# 需要看到 memory;控制器出现在这里不等于所有子层级都已启用。

从实际进程反查路径,比猜 Docker 容器 ID 或 Kubernetes Pod UID 更可靠:

PID=12345
cat /proc/$PID/cgroup
# v2 常见形式:0::/system.slice/demo.service

CG=$(awk -F: '$1=="0" {print $3}' /proc/$PID/cgroup)
printf 'cgroup path: %s\n' "$CG"
cat "/sys/fs/cgroup${CG}/memory.events"
cat "/sys/fs/cgroup${CG}/memory.current"
cat "/sys/fs/cgroup${CG}/memory.peak"

如果进程已经退出,/proc/$PID 就不存在了。此时使用 service 名称或容器运行时记录的 cgroup 路径;不能拿新进程的路径冒充旧进程的历史证据。systemd 服务可直接查:

systemctl show demo.service -p ControlGroup -p MainPID \
  -p MemoryCurrent -p MemoryPeak -p MemoryMax -p MemoryHigh -p MemorySwapMax

CG=$(systemctl show demo.service -p ControlGroup --value)
cat "/sys/fs/cgroup${CG}/memory.events"

还要看父级。/system.slice/demo.service 没超限,不代表 /system.slice 或父 slice 没超限。用下面命令列出沿路径可见的事件计数:

CG=$(systemctl show demo.service -p ControlGroup --value)
P="/sys/fs/cgroup${CG}"
while [ "$P" != "/sys/fs/cgroup" ] && [ -n "$P" ]; do
  echo "--- $P"
  grep -E '^(high|max|oom|oom_kill|oom_group_kill) ' "$P/memory.events" 2>/dev/null
  P=${P%/*}; [ -z "$P" ] && P=/sys/fs/cgroup
done

根 cgroup 不一定提供全部 memory 接口文件;缺文件时不要将其误读成“计数为零”。

3. 读懂 memory.events:五个计数对应五个阶段

cgroup v2 的 memory.events 是累计计数,不是当前值。至少间隔采样两次,并保存时间戳;单次全为零只能说明这个接口从建立以来没有观察到事件。

字段 含义 处置提示
low 因低于 memory.low 保护线而跳过回收的次数 不是错误,不要当成 OOM 前兆
high 超过 memory.high 后触发回收/节流的次数 持续增长通常对应时延与 CPU 开销,需要与 PSI 关联
max 达到 memory.max 的次数 表示硬上限压力,不等于 kill 次数
oom cgroup 内内存耗尽并进入 OOM 处理 可能经历了重试,不能用来精确统计死亡进程数
oom_kill 因 OOM 被 kill 的任务数 是强证据,但仍要对照内核日志确认是哪一级触发
oom_group_kill 启用 memory.oom.group 后按组终止的事件 同一组内多个进程可能一起退出

可保存一段只读采样脚本到运维工具库,避免故障时临时拼命令:

#!/bin/sh
# 用法:./sample-memory.sh /sys/fs/cgroup/system.slice/demo.service
set -eu
CG=$1
for round in 1 2 3; do
  date -Is
  for f in memory.current memory.peak memory.max memory.high \
           memory.swap.current memory.events memory.stat; do
    [ ! -r "$CG/$f" ] || { echo "--- $f"; cat "$CG/$f"; }
  done
  grep '^some\|^full' /proc/pressure/memory 2>/dev/null || true
  [ "$round" = 3 ] || sleep 5
done

memory.peak 是水位记录,不是过去一分钟的平均值;memory.current 包含的也不只是业务堆内存,page cache、内核内存等也计入 cgroup 记账。不要用 rss × 进程数 与 current 机械对账。

4. 用 memory.stat 回答“内存花在哪里、回收有没有效果”

CG=/sys/fs/cgroup/system.slice/demo.service
grep -E '^(anon|file|kernel|slab|sock|shmem|file_mapped|file_dirty|file_writeback|inactive_anon|active_anon|inactive_file|active_file|pgfault|pgmajfault|workingset_refault_anon|workingset_refault_file|pgactivate|pgdeactivate|pglazyfree|pglazyfreed|pgscan|pgsteal) ' \
  "$CG/memory.stat"
  • anon 持续接近上限:优先查堆、无界队列、连接缓冲区或泄漏。直接扩 cache 配置通常无帮助。
  • file/page cache 占比较高:检查大文件读写、日志访问与备份任务;可回收 cache 与不可回收匿名内存的处理方式不同。
  • kernel/slab/sock 异常:不要只盯应用 RSS。大量 socket、内核对象或网络缓冲也可能成为限制压力来源。
  • workingset_refault_* 增长:此前回收的工作集又被重新调入,提示“回收后立刻再缺页”的抖动风险;需结合 refault 类型与 IO 延迟分析。
  • pgmajfault 增长:主缺页需要实际 IO,但要结合存储指标判断,不能仅凭它断言磁盘故障。

memory.stat 中部分扫描/回收指标按 pgscan_kswapd、pgscan_direct、pgsteal_kswapd、pgsteal_direct 等细分。精确字段以当前内核文件为准,不要为了匹配旧教程而假设所有内核都有完全相同的字段集合。

5. 用受控实验验证,而不是在生产里制造 OOM

下面的 transient service 将实验进程限制在独立 cgroup,不影响现有服务。只在测试机或明确批准的维护窗口运行;Python 子进程会真实申请约 192 MiB 匿名内存并触碰页面。

sudo systemd-run \
  --unit=oom-lab --wait --collect \
  --property=Type=exec \
  --property=MemoryMax=256M \
  --property=MemorySwapMax=0 \
  /usr/bin/python3 -c 'import time; x=bytearray(192*1024*1024); \
[(x.__setitem__(i, 1)) for i in range(0, len(x), 4096)]; time.sleep(300)'

另开终端读取实验组的指标:

CG=/sys/fs/cgroup/system.slice/oom-lab.service
cat "$CG/memory.max"
cat "$CG/memory.current"
cat "$CG/memory.peak"
cat "$CG/memory.events"
systemctl status oom-lab.service --no-pager

为了验证 kill 路径,可以另起一个更低限制的新实验单元(例如 oom-lab-kill),不要修改正在运行的生产 unit。若预期触发 OOM,检查:

systemctl show oom-lab-kill.service \
  -p Result -p ExecMainCode -p ExecMainStatus -p OOMPolicy
sudo journalctl -k --since '-10 min' --no-pager | \
  grep -Ei 'out of memory|oom-kill|killed process|memory cgroup'

不要只观察 systemd-run 是否返回非零。应把 memory.events 的增量、unit 结果和内核日志三者对齐。--collect 会在结束后清理临时 unit,故障信息先从 journal 查询;若实验后需要继续读 cgroup 文件,可在测试环境去掉 --collect,采样结束再 systemctl stop 并 systemctl reset-failed。

6. memory.low、high、max 不是“三个版本的上限”

参数 用途 主要风险
memory.low 尽力保护该 cgroup 的工作集,父级回收时优先避让 保护不是硬保留;配置过高可能把回收压力转移给同级服务
memory.high 超过后主动回收并节流,是主要压力调节点 过低会造成持续 direct reclaim 与时延抖动
memory.max 硬上限,无法继续回收时进入 OOM 过高会把压力推迟到父级或整机,过低则频繁 OOM
memory.swap.max 限制此 cgroup 可使用的 swap swap 是缓冲,不是修复匿名内存泄漏的手段

systemd 服务可通过 drop-in 做可审计调整。示例为数据库服务保留硬上限,并设置一个低于硬上限的压力调节点;具体数值必须来自基线,不能照抄:

sudo systemctl edit demo.service
# 写入:
[Service]
MemoryHigh=3G
MemoryMax=4G
MemorySwapMax=0

sudo systemctl daemon-reload
sudo systemctl restart demo.service
systemctl show demo.service -p MemoryHigh -p MemoryMax -p MemorySwapMax

回退必须删除本次 drop-in 中的新增属性或恢复旧值,然后重新加载并重启;仅执行 daemon-reload 不会改变已经运行进程的 cgroup。空值可用于取消对应 systemd 属性限制,但操作前应通过 systemctl cat demo.service 确认所有叠加配置,避免误删同事设置的约束。

memory.min/low 的保护依赖父级层级与可用内存,不是绕过物理内存的配额;systemd 的 MemoryAccounting 通常默认启用,但若手动关闭,资源统计与控制需要单独核查。

7. Kubernetes 不要只看容器最后一行状态

kubectl describe pod -n production api-7d9f8c6b5-x2abc
kubectl get pod -n production api-7d9f8c6b5-x2abc \
  -o jsonpath='{range .status.containerStatuses[*]}{.name}{" restart="}{.restartCount}{" last="}{.lastState}{"\n"}{end}'
kubectl get pod -n production api-7d9f8c6b5-x2abc -o yaml | \
  grep -A12 -E 'resources:|lastState:'

容器 limits.memory 映射到 cgroup 限制,但节点、kubelet、运行时与 Pod 层级都有相关约束。看到 reason: OOMKilled 后仍应到节点读取对应 cgroup 的 memory.events 与内核日志;如果只有容器运行时状态而没有计数或日志,先记录证据缺口,不要编造根因。

Java、Go、数据库连接池和应用缓存还需要分别设上限。容器 limit 是整个 cgroup 的预算,不是 JVM 堆或 Go heap 的专属额度。留出的空间至少应覆盖非堆内存、线程栈、直接缓冲区、子进程、page cache 与内核记账,并通过峰值数据验证。

8. 一个避免误判的处置决策表

观测组合 优先动作 验证指标
anon 单调增长,重启后重复出现,max/oom_kill 增长 抓 heap/profile,检查无界队列与对象生命周期;临时限额只用于隔离爆炸半径 同负载下 anon 斜率、GC 后基线、oom_kill 增量
high 持续增长、PSI some/full 与延迟上升,但无 oom 检查 high 是否过低、回收是否挤占 CPU,核对工作集与同级服务 high 增量、PSI、direct reclaim、P95/P99
file cache 大且 refault/majfault 与 IO 延迟同步上升 检查备份、批处理与顺序扫描,必要时错开 IO 高峰 refault、majfault、磁盘 await、业务延迟
服务组无 max,但父 slice 有 max/oom 排查父级总预算与同级服务,不要只扩本服务 max 父级 current/events、同级峰值是否重叠
退出码 137,但 oom_kill 无增量、内核无 OOM 日志 查部署停止、探针、运行时超时、人工 SIGKILL unit 日志、Kubernetes 事件、审计与发布记录

9. 上线前的最小检查清单

  1. 保存故障前后的 memory.events 两次采样,不凭单个零值判断。
  2. 从旧进程或 unit 记录确认真实 cgroup,并检查父级。
  3. 把 anon/file/kernel、PSI、IO 延迟与业务 P99 放在同一时间轴。
  4. 区分 max、oom、oom_kill,不要互相替代。
  5. 限额变更通过 drop-in 或声明式配置提交,记录旧值与回退方式。
  6. 变更后用同一负载验证;至少观察一个完整业务峰值,而不是只看重启后的五分钟。

真正需要修的经常不是“内存不够”,而是边界放错、预算重叠或工作集不可控。把事件计数、内存构成和进程行为串起来,才能避免每次 OOM 都以一次更大的 limit 暂时结束。