Kubernetes 1.35 Pod 资源原地调整实战:从 resizePolicy 到生产验收与回退 原创
过去修改 Pod 的 CPU、内存,通常要更新工作负载模板,再由 Deployment 或 StatefulSet 替换旧 Pod。这个过程成熟可靠,但会带来连接迁移、缓存冷启动和有状态副本切换等成本。Kubernetes 1.35 将 InPlacePodVerticalScaling 推进到 GA,提供另一条路径:通过 Pod 的 resize 子资源修改 CPU、内存,由 kubelet 尝试调整现有容器的资源。
但“原地调整”不等于“必然不重启”,更不等于“提交后马上生效”。真正需要掌握的是三个问题:怎样发出请求、怎样确认实际资源、什么情况下仍应选择重建 Pod。
一、先划清边界:它改变了什么
传统工作负载更新与原地调整,操作对象并不相同:
| 方式 | 操作对象 | Pod 是否替换 | 适用场景 |
|---|---|---|---|
| 修改 Deployment/StatefulSet 的 Pod 模板 | 工作负载的 spec.template |
控制器按更新策略替换 | 正式版本变更、需要完整声明式发布 |
调用 Pod 的 resize 子资源 |
现有 Pod 的容器资源配置 | 通常不替换;容器是否重启由策略和实际执行情况决定 | 临时缓解 CPU 压力、经过验证的垂直扩缩容 |
| VPA 自动更新 | VPA 选中的一组 Pod | 取决于更新模式及原地调整是否可行 | 基于历史用量自动给出并应用建议 |
它只处理 CPU 和内存,不是通用的 Pod 热更新接口。镜像、环境变量、端口、挂载卷等仍应走正常工作负载发布流程。
二、理解四层资源状态,避免误判
执行 kubectl patch 后看到 pod/resize-demo patched,只说明 API 请求已被接受,不能证明容器已经获得新资源。排查时至少看下面几项:
| 字段 | 含义 | 排查价值 |
|---|---|---|
spec.containers[*].resources |
期望的 requests 和 limits | 确认目标值是否提交 |
status.containerStatuses[*].resources |
当前为容器配置的实际资源;未启动或已重启的容器则反映下次启动时的分配 | 常规验收应重点比较它与期望值 |
status.containerStatuses[*].allocatedResources |
kubelet 已确认、主要用于内部调度核算的资源 | 深入分析分配过程,不作为普通验收的唯一依据 |
status.conditions |
PodResizePending 或 PodResizeInProgress 等状态 |
定位等待、不可行或运行时执行错误 |
当节点上存在尚未完成的 resize 请求时,调度器会综合期望、已分配和实际 requests 中的较大值进行容量判断。因此,一个失败的扩容请求也可能影响后续调度判断,不能放着不管。
三、最小实验:只增加 CPU,不重建 Pod
以下使用独立 Pod,避免 Deployment 或 StatefulSet 的滚动更新干扰观察。建议控制平面与节点均使用 Kubernetes 1.35;kubectl 至少为 1.32,才能使用 --subresource=resize。Linux 节点及容器运行时还需支持相应的 cgroup 资源更新。
先检查版本,再创建隔离命名空间:
kubectl version
kubectl create namespace resize-lab
保存为 pod-resize.yaml:
apiVersion: v1
kind: Pod
metadata:
name: resize-demo
namespace: resize-lab
spec:
containers:
- name: app
image: registry.k8s.io/pause:3.8
resizePolicy:
- resourceName: cpu
restartPolicy: NotRequired
- resourceName: memory
restartPolicy: RestartContainer
resources:
requests:
cpu: 500m
memory: 256Mi
limits:
cpu: 500m
memory: 256Mi
此例初始为 Guaranteed QoS,因此 CPU、内存的 requests 都必须等于 limits。CPU 使用默认行为 NotRequired;这里显式写出是为了让策略可读。内存设为 RestartContainer,表示后续如果调整内存,应接受容器重启,而不是把它误认为无中断操作。
kubectl apply -f pod-resize.yaml
kubectl -n resize-lab get pod resize-demo -o json | jq '{
uid: .metadata.uid,
qos: .status.qosClass,
desired: .spec.containers[0].resources,
actual: .status.containerStatuses[0].resources,
containerID: .status.containerStatuses[0].containerID,
restartCount: .status.containerStatuses[0].restartCount
}'
等待 Pod 进入 Running 且上述容器状态可用后,将 CPU 从 500m 提到 1 核:
kubectl -n resize-lab patch pod resize-demo \
--subresource=resize --type=merge \
-p '{"spec":{"containers":[{"name":"app","resources":{"requests":{"cpu":"1"},"limits":{"cpu":"1"}}}]}}'
合并补丁只修改 CPU,保留原来的内存配置。再次执行刚才的查询,并补充 resize 条件:
kubectl -n resize-lab get pod resize-demo -o json | jq '{
uid: .metadata.uid,
desired: .spec.containers[0].resources,
actual: .status.containerStatuses[0].resources,
containerID: .status.containerStatuses[0].containerID,
restartCount: .status.containerStatuses[0].restartCount,
resizeConditions: [
.status.conditions[]?
| select(.type == "PodResizePending" or .type == "PodResizeInProgress")
]
}'
CPU 调整完成的验收标准是:期望 CPU 与实际 CPU 均为 1,Pod UID 与容器 ID 保持不变,restartCount 不增加。不能只检查 Pod 仍为 Running,因为 Pending 的旧容器也可能继续运行。
若容器内使用 cgroup v2 且挂载了自身 cgroup 视图,还可辅助读取 /sys/fs/cgroup/cpu.max。1 核、周期 100ms 时通常表现为 100000 100000;500m 则为 50000 100000。这层检查用于确认运行时资源,不应替代 Kubernetes 状态检查。本示例 pause 镜像不提供 shell,无需为了执行 cat 更换实验镜像。
四、扩容卡住时,先分清 Deferred 与 Infeasible
下面的命令把 CPU 请求设为 1000 核,用来观察节点无法满足请求时的行为,不要在生产 Pod 上执行:
kubectl -n resize-lab patch pod resize-demo \
--subresource=resize --type=merge \
-p '{"spec":{"containers":[{"name":"app","resources":{"requests":{"cpu":"1000"},"limits":{"cpu":"1000"}}}]}}'
kubectl -n resize-lab get pod resize-demo \
-o jsonpath='{range .status.conditions[*]}{.type}{"\t"}{.reason}{"\t"}{.message}{"\n"}{end}'
kubectl -n resize-lab get pod resize-demo \
-o jsonpath='{.status.containerStatuses[0].resources}{"\n"}'
| 状态 | 含义 | 处理方式 |
|---|---|---|
PodResizePending / Deferred |
当前资源不足,但释放其他 Pod 等资源后可能可行;kubelet 会重试 | 检查节点可分配量与同节点其他请求,决定等待、降低目标或改用重建调度 |
PodResizePending / Infeasible |
当前节点无法满足,例如目标超过节点容量 | 重新提交可行目标;不要只删除状态字段或反复等待 |
PodResizeInProgress 伴随 reason: Error |
资源已被接受,但运行时执行阶段出现问题 | 读取 message,结合 kubelet 与容器运行时日志排查 |
将上面实验的请求恢复为 1 核:
kubectl -n resize-lab patch pod resize-demo \
--subresource=resize --type=merge \
-p '{"spec":{"containers":[{"name":"app","resources":{"requests":{"cpu":"1"},"limits":{"cpu":"1"}}}]}}'
# 可选:过滤本节点与该 Pod 的 kubelet 日志
journalctl -u kubelet --since "15 min ago" --no-pager | grep resize-demo
失败的请求可能仍保留较大的期望值,而 status.containerStatuses[*].resources 保持旧值。修正请求后,再同时核对这两个字段。单纯重启 kubelet 不是通用的修复方法,还会掩盖容量或策略上的根因。
五、内存与 QoS:最容易踩的两条边界
1. 不重启容器,不代表应用会利用新增内存
NotRequired 是资源类型的默认策略,它表示 Kubernetes 尝试不重启容器来应用新值,并不负责调整应用内部参数。例如 JVM 若用固定的 -Xmx1g 启动,即使容器内存 limit 提升到 2Gi,堆上限也不会自动翻倍。
因此,对固定堆、固定缓存池或无法感知 cgroup 变化的旧应用,内存调整通常应选择 RestartContainer,或者仍走可验证的滚动发布。若确实需要不重启扩容,应先验证运行时与应用能够识别新的限制,再配置策略。
内存降容风险更高。策略为 NotRequired 时,kubelet 会尽力避免 OOM,但没有绝对保证;当前用量已经超过新 limit 时,调整可能被跳过,也可能在检查之后遇到内存突增。生产降容前必须观察峰值、缓存回收行为及 OOM 指标,而不是只看平均值。
2. 原地调整不能改变创建时确定的 QoS
- Guaranteed:调整后所有容器的 CPU、内存 requests 仍须分别等于 limits。
- Burstable:不能借 resize 把它变成 Guaranteed。
- BestEffort:不能通过 resize 新增 requests 或 limits。
- 已经存在的 requests/limits 只能改值,不能借合并补丁全部删除。
此外,Windows Pod、静态 CPU Manager 或 Memory Manager 策略管理的 Pod 等场景存在限制;临时容器不能调整。上线前应对照当前集群版本的官方限制清单逐项检查,而不是把 GA 理解为所有环境通用。
六、Deployment、StatefulSet 与 GitOps 的正确协作方式
对控制器管理的 Pod,下面两种操作不要混淆:
# 对当前存活 Pod 发出 resize 请求
kubectl -n production patch pod my-app-6d7f8c9b4d-x2k4m \
--subresource=resize --type=merge -p "$RESIZE_PATCH"
# 修改 Deployment 模板:这是滚动更新,不是 resize 子资源操作
kubectl -n production patch deployment my-app --type=merge -p "$TEMPLATE_PATCH"
直接修改存活 Pod 适合有明确负责人和有效期的应急操作,但它会与工作负载模板形成偏差。Pod 日后因滚动更新、节点故障或驱逐而被替换时,新 Pod 按模板创建,临时资源值不会自动成为正式配置。GitOps 控制器也可能纠正或报告这类带外变更。
建议采用下面的闭环:
- 优先在测试环境验证 CPU、内存的 resizePolicy 和应用行为。
- 应急时对目标 Pod 使用 resize,并记录操作人、目标值、原因和过期时间。
- 观察期望与实际资源、Pod UID、容器 ID、重启次数,以及应用延迟和 OOM。
- 需要长期保留的资源值通过代码评审写回工作负载模板,再按正常发布流程上线。
- 若使用 VPA,明确哪些字段由 VPA 管理,避免 GitOps 与 VPA 相互覆盖。
VPA 的 InPlaceOrRecreate 模式也不能理解为“绝不驱逐”:它先尝试原地更新,不可行或超时等情况下会回退到重建。单副本、不可中断的服务必须把这种回退路径纳入高可用设计,而不是仅修改一个枚举值。
七、生产选型清单
| 问题 | 建议 |
|---|---|
| 只临时缓解 CPU 限流,节点有足够余量? | 可以考虑 CPU NotRequired,但必须核对实际资源与业务指标 |
| 应用固定了堆或缓存大小,需要调整内存? | 接受重启并选 RestartContainer,或走滚动发布 |
| 变更会跨越 QoS 类别? | 不要提交 resize;修正模板并通过重建创建符合目标的 Pod |
| 节点无法满足新 requests? | 降低目标、释放容量或让新 Pod 调度到其他节点;不要盲目等待 |
| 单副本有状态服务,不能接受任何重启或驱逐? | 不能依赖此功能提供高可用,先解决副本、故障转移和数据一致性 |
| 变更需要长期保留? | 将资源值纳入工作负载模板和 GitOps,明确自动化控制器边界 |
实验结束清理资源:
kubectl delete namespace resize-lab
结语
Kubernetes 1.35 的原地资源调整,把“修改资源配置”与“替换 Pod”解耦,为临时扩容和低干扰垂直伸缩提供了新工具。它的可靠用法不是记住一条 patch 命令,而是建立完整验收链:看期望值,也看实际值;看 Pod 是否保留,也看容器是否重启;处理当前扩容,也处理声明式配置的长期一致性。
参考资料: