Docker 镜像堆积导致服务器磁盘满的一次排查记录
本文详细解析了一次因 Docker 镜像和构建缓存长期堆积,导致服务器根分区磁盘占满、Redis 无法进行 RDB/AOF 持久化并触发写保护,最终使后台配置保存后清缓存失败的排查过程。文
最近线上后台保存配置时遇到一个问题:接口返回失败,但 MySQL 更新逻辑看起来已经执行到了最后。查看服务日志后,发现异常并不是业务数据问题,而是 Redis 报错:
text
MISCONF Redis is configured to save RDB snapshots, but it's currently unable to persist to disk.
Commands that may modify the data set are disabled.
No space left on device
继续查看服务器磁盘:
bash
df -h
发现根分区已经满了:
text
/dev/vda3 59G 57G 0 100% /
也就是说,根因是服务器磁盘被占满,Redis 无法写入 RDB/AOF 持久化文件,于是触发了 Redis 的保护机制,禁止写命令。业务保存配置后需要删除动态配置缓存,DEL 也属于写命令,所以最终在清缓存阶段失败。
排查 Docker 占用
进一步查看磁盘占用:
bash
du -h --max-depth=1 / 2>/dev/null | sort -hr | head
发现 /var 占用非常高:
text
44G /var
继续看 Docker 目录:
bash
du -h --max-depth=1 /var/lib/docker 2>/dev/null | sort -hr | head
结果:
text
41G /var/lib/docker/overlay2
41G /var/lib/docker
再看 Docker 空间统计:
bash
docker system df
输出大概是:
text
TYPE TOTAL ACTIVE SIZE RECLAIMABLE
Images 169 25 29.4GB 24.32GB
Containers 25 15 96.78MB 570.1kB
Local Volumes 3 1 258.4kB 129.2kB
Build Cache 538 0 8.557GB 8.557GB
问题已经很明显:大量旧镜像和构建缓存没有清理。
为什么会产生这么多镜像
这次服务器上有很多 <none>:<none> 镜像,也就是 dangling image,中文一般叫悬空镜像。
例如:
text
<none> <none> 57ccdc4a880f 24 hours ago 504MB
<none> <none> a73398ab7e50 24 hours ago 485MB
<none> <none> 2c0eb5472a28 26 hours ago 485MB
...
这通常是因为每次重新构建同名镜像,例如:
bash
docker build -t s-third .
docker build -t s-admin .
docker build -t s-gateway .
新的镜像会占用原来的 s-third:latest 标签,旧镜像失去标签,就变成 <none>:<none>。如果每次发布都构建,但发布脚本没有清理旧镜像,时间一长就会积累大量镜像层。
Java 服务镜像通常又比较大,一个 Spring Boot 服务镜像 400MB 到 500MB 很常见。多个微服务频繁发布后,磁盘很快就会被吃完。
另外,Docker BuildKit 也会保留构建缓存,用来加速下次构建。这本身是好事,但如果服务器磁盘比较小,又长期不清理,就会变成另一个大户。
这次 Build Cache 就有:
text
Build Cache 8.557GB
如何清理
先看可回收空间:
bash
docker system df
docker system df -v
docker builder du
清理悬空镜像:
bash
docker image prune -f
清理构建缓存:
bash
docker builder prune -f
如果确认不再使用所有未被容器引用的镜像,可以清理得更彻底:
bash
docker image prune -a -f
但这个命令要谨慎。它会删除所有没有被任何容器使用的镜像,不只是 <none> 镜像。如果某些镜像虽然当前没运行,但后面还想快速拉起,就会被删掉。
也可以清理停止的容器:
bash
docker container prune -f
如果确认未使用的网络、缓存也可以清:
bash
docker system prune -f
更激进的是:
bash
docker system prune -a -f
这个命令在生产服务器上不要随手执行,最好先用 docker system df -v 确认。
后续优化建议
1. 发布脚本里自动清理悬空镜像
每次发布成功后,可以加:
bash
docker image prune -f
这个相对安全,只清理 <none>:<none> 镜像,不会删除正在运行容器用到的镜像。
如果有 BuildKit 构建缓存,也可以定期清:
bash
docker builder prune -f --filter until=168h
比如只清理 7 天前的构建缓存。
2. 镜像不要只打 latest
只使用 latest 很容易让旧镜像变成悬空镜像,也不好回滚。建议发布时同时打版本号:
bash
docker build -t s-third:20260626-001 -t s-third:latest .
线上运行可以用明确版本:
bash
image: s-third:20260626-001
这样回滚时也更清楚。
3. 保留最近几个版本,自动删除更旧版本
可以约定每个服务只保留最近 3 到 5 个镜像版本。旧版本自动删除,避免无限堆积。
思路是:
bash
docker images s-third --format '{{.Repository}}:{{.Tag}} {{.CreatedAt}} {{.ID}}'
然后按时间保留最近几条,删除更旧的镜像。
4. 定期巡检磁盘
可以加一个简单的定时任务:
bash
df -h
docker system df
当磁盘超过 80% 时提醒,超过 90% 时必须处理。
尤其是 Redis、MySQL、Elasticsearch 这类依赖磁盘的服务,磁盘满不是“小问题”,会直接影响写入能力。
5. Redis 不要忽视持久化失败
Redis 报这个错误时:
text
MISCONF Redis is configured to save RDB snapshots, but it's currently unable to persist to disk
说明 Redis 已经无法正常持久化。默认配置下,Redis 会开启:
text
stop-writes-on-bgsave-error yes
当 RDB 保存失败时,Redis 会拒绝写命令,防止数据继续变化但无法落盘。
可以临时关闭:
bash
redis-cli CONFIG SET stop-writes-on-bgsave-error no
但这只是临时绕过,不建议作为根本解决方案。真正要做的是修复磁盘空间、权限或持久化目录问题。
6. 业务代码里清缓存失败不应阻断主流程
这次还有一个代码层面的启发:配置保存已经成功写 MySQL,最后只是清 Redis 缓存失败。清缓存失败不应该直接导致整个配置保存失败。
更稳妥的做法是:
java
try {
RedisUtils.del(cacheKey);
} catch (Exception e) {
log.warn("清理缓存失败,已忽略,cacheKey={}", cacheKey, e);
}
或者把清缓存动作放到事务提交后执行,避免 Redis 异常导致数据库事务回滚。
当然,这只能提升业务容错,不能代替服务器磁盘治理。
总结
这次问题表面上是后台配置保存失败,实际根因是 Docker 镜像和构建缓存长期堆积,导致服务器根分区 100%。Redis 因为磁盘不足无法持久化,进入保护模式,最终使业务清缓存失败。
后续需要注意:
- 发布脚本加
docker image prune -f - 定期清理 Docker build cache
- 镜像使用版本号,不只依赖
latest - 只保留最近几个版本
- 定期巡检磁盘
- Redis 持久化失败要优先处理
- 业务清缓存失败不要阻断核心保存流程
小服务器磁盘空间有限,Docker 发布如果不做清理,迟早会把磁盘吃满。这个问题不难修,但一定要纳入发布流程,而不是等线上服务报错后再处理。