Docker 镜像堆积导致服务器磁盘满的一次排查记录

2026-06-26运维4 分钟86 次阅读
AI 摘要salmon-ai

本文详细解析了一次因 Docker 镜像和构建缓存长期堆积,导致服务器根分区磁盘占满、Redis 无法进行 RDB/AOF 持久化并触发写保护,最终使后台配置保存后清缓存失败的排查过程。文

最近线上后台保存配置时遇到一个问题:接口返回失败,但 MySQL 更新逻辑看起来已经执行到了最后。查看服务日志后,发现异常并不是业务数据问题,而是 Redis 报错:

text 复制代码
MISCONF Redis is configured to save RDB snapshots, but it's currently unable to persist to disk.
Commands that may modify the data set are disabled.
No space left on device

继续查看服务器磁盘:

bash 复制代码
df -h

发现根分区已经满了:

text 复制代码
/dev/vda3  59G  57G  0  100% /

也就是说,根因是服务器磁盘被占满,Redis 无法写入 RDB/AOF 持久化文件,于是触发了 Redis 的保护机制,禁止写命令。业务保存配置后需要删除动态配置缓存,DEL 也属于写命令,所以最终在清缓存阶段失败。

排查 Docker 占用

进一步查看磁盘占用:

bash 复制代码
du -h --max-depth=1 / 2>/dev/null | sort -hr | head

发现 /var 占用非常高:

text 复制代码
44G /var

继续看 Docker 目录:

bash 复制代码
du -h --max-depth=1 /var/lib/docker 2>/dev/null | sort -hr | head

结果:

text 复制代码
41G /var/lib/docker/overlay2
41G /var/lib/docker

再看 Docker 空间统计:

bash 复制代码
docker system df

输出大概是:

text 复制代码
TYPE            TOTAL     ACTIVE    SIZE      RECLAIMABLE
Images          169       25        29.4GB    24.32GB
Containers      25        15        96.78MB   570.1kB
Local Volumes   3         1         258.4kB   129.2kB
Build Cache     538       0         8.557GB   8.557GB

问题已经很明显:大量旧镜像和构建缓存没有清理。

为什么会产生这么多镜像

这次服务器上有很多 <none>:<none> 镜像,也就是 dangling image,中文一般叫悬空镜像。

例如:

text 复制代码
<none> <none> 57ccdc4a880f 24 hours ago 504MB
<none> <none> a73398ab7e50 24 hours ago 485MB
<none> <none> 2c0eb5472a28 26 hours ago 485MB
...

这通常是因为每次重新构建同名镜像,例如:

bash 复制代码
docker build -t s-third .
docker build -t s-admin .
docker build -t s-gateway .

新的镜像会占用原来的 s-third:latest 标签,旧镜像失去标签,就变成 <none>:<none>。如果每次发布都构建,但发布脚本没有清理旧镜像,时间一长就会积累大量镜像层。

Java 服务镜像通常又比较大,一个 Spring Boot 服务镜像 400MB 到 500MB 很常见。多个微服务频繁发布后,磁盘很快就会被吃完。

另外,Docker BuildKit 也会保留构建缓存,用来加速下次构建。这本身是好事,但如果服务器磁盘比较小,又长期不清理,就会变成另一个大户。

这次 Build Cache 就有:

text 复制代码
Build Cache 8.557GB

如何清理

先看可回收空间:

bash 复制代码
docker system df
docker system df -v
docker builder du

清理悬空镜像:

bash 复制代码
docker image prune -f

清理构建缓存:

bash 复制代码
docker builder prune -f

如果确认不再使用所有未被容器引用的镜像,可以清理得更彻底:

bash 复制代码
docker image prune -a -f

但这个命令要谨慎。它会删除所有没有被任何容器使用的镜像,不只是 <none> 镜像。如果某些镜像虽然当前没运行,但后面还想快速拉起,就会被删掉。

也可以清理停止的容器:

bash 复制代码
docker container prune -f

如果确认未使用的网络、缓存也可以清:

bash 复制代码
docker system prune -f

更激进的是:

bash 复制代码
docker system prune -a -f

这个命令在生产服务器上不要随手执行,最好先用 docker system df -v 确认。

后续优化建议

1. 发布脚本里自动清理悬空镜像

每次发布成功后,可以加:

bash 复制代码
docker image prune -f

这个相对安全,只清理 <none>:<none> 镜像,不会删除正在运行容器用到的镜像。

如果有 BuildKit 构建缓存,也可以定期清:

bash 复制代码
docker builder prune -f --filter until=168h

比如只清理 7 天前的构建缓存。

2. 镜像不要只打 latest

只使用 latest 很容易让旧镜像变成悬空镜像,也不好回滚。建议发布时同时打版本号:

bash 复制代码
docker build -t s-third:20260626-001 -t s-third:latest .

线上运行可以用明确版本:

bash 复制代码
image: s-third:20260626-001

这样回滚时也更清楚。

3. 保留最近几个版本,自动删除更旧版本

可以约定每个服务只保留最近 3 到 5 个镜像版本。旧版本自动删除,避免无限堆积。

思路是:

bash 复制代码
docker images s-third --format '{{.Repository}}:{{.Tag}} {{.CreatedAt}} {{.ID}}'

然后按时间保留最近几条,删除更旧的镜像。

4. 定期巡检磁盘

可以加一个简单的定时任务:

bash 复制代码
df -h
docker system df

当磁盘超过 80% 时提醒,超过 90% 时必须处理。

尤其是 Redis、MySQL、Elasticsearch 这类依赖磁盘的服务,磁盘满不是“小问题”,会直接影响写入能力。

5. Redis 不要忽视持久化失败

Redis 报这个错误时:

text 复制代码
MISCONF Redis is configured to save RDB snapshots, but it's currently unable to persist to disk

说明 Redis 已经无法正常持久化。默认配置下,Redis 会开启:

text 复制代码
stop-writes-on-bgsave-error yes

当 RDB 保存失败时,Redis 会拒绝写命令,防止数据继续变化但无法落盘。

可以临时关闭:

bash 复制代码
redis-cli CONFIG SET stop-writes-on-bgsave-error no

但这只是临时绕过,不建议作为根本解决方案。真正要做的是修复磁盘空间、权限或持久化目录问题。

6. 业务代码里清缓存失败不应阻断主流程

这次还有一个代码层面的启发:配置保存已经成功写 MySQL,最后只是清 Redis 缓存失败。清缓存失败不应该直接导致整个配置保存失败。

更稳妥的做法是:

java 复制代码
try {
    RedisUtils.del(cacheKey);
} catch (Exception e) {
    log.warn("清理缓存失败,已忽略,cacheKey={}", cacheKey, e);
}

或者把清缓存动作放到事务提交后执行,避免 Redis 异常导致数据库事务回滚。

当然,这只能提升业务容错,不能代替服务器磁盘治理。

总结

这次问题表面上是后台配置保存失败,实际根因是 Docker 镜像和构建缓存长期堆积,导致服务器根分区 100%。Redis 因为磁盘不足无法持久化,进入保护模式,最终使业务清缓存失败。

后续需要注意:

  • 发布脚本加 docker image prune -f
  • 定期清理 Docker build cache
  • 镜像使用版本号,不只依赖 latest
  • 只保留最近几个版本
  • 定期巡检磁盘
  • Redis 持久化失败要优先处理
  • 业务清缓存失败不要阻断核心保存流程

小服务器磁盘空间有限,Docker 发布如果不做清理,迟早会把磁盘吃满。这个问题不难修,但一定要纳入发布流程,而不是等线上服务报错后再处理。

觉得有用就点个赞,不用登录也能读

评论

0 条
登录 之后才能评论
—
还没有评论,来说第一句