运维与排障 / 2026-11-02
升级前先证明你能退回去
备份不等于能恢复。做完备份、做一次真实恢复演练、再定变更窗口——三步之后升级这件事才变成可逆操作。
每次升级前都做了备份,但有两次真出事时,备份并不能用:一次是备份文件在同一个磁盘上,盘挂了两个一起没;一次是备份里缺了 /etc 下的配置,恢复回来是个能开机但连不上网的系统。
备份要满足三个条件
- 异地:至少一份不在同一台物理机、不在同一块盘上。
- 可校验:有校验和或能列出内容,不是"文件大小看起来对"。
- 含配置:不只是数据卷,还包括
/etc下改过的服务配置。
在 PVE 上,最省事的起步是 vzdump 到远端存储:
vzdump <vmid> --mode snapshot --storage <远端存储> --compress zstd
容器和虚拟机的快照是"回滚到上一分钟",不是"备份"——它和原盘在一起,防误操作不防硬件。
文件级备份用 restic,第一次全量之后都是增量,代价小:
restic -r sftp:<远端>:<路径> init
restic -r sftp:<远端>:<路径> backup /etc /root /opt --exclude-caches
restic -r sftp:<远端>:<路径> snapshots
真正的一步:恢复演练
备份脚本跑绿了不代表能恢复。我会在一台闲置机器上做一次真实恢复,只恢复最关键的三个东西:
- 一份最小的容器快照,确认能启动。
/etc里的网络与 SSH 配置,确认恢复后能远程进。- 一个业务数据目录,确认文件权限与属主正确。
这一步经常暴露"备份里有、但恢复脚本不认"的问题,比如 restic restore 之后的属主是 root 而不是原来的服务用户。
变更窗口
升级本身不是风险,升级和别的变更叠在一起才是。定窗口时做三件事:
- 一次只改一层。升内核、升面板、改网络配置,不要放在同一晚。
- 记录升级前的版本号与关键配置 diff,出问题时这是唯一的对照基线。
- 留一小时观察期,期间不安排其他任务。日志里
dmesg与systemctl --failed是必看的两个。
我现在的固定顺序
vzdump到远端 +restic backup /etc- 抽一份做恢复演练(每月一次,不是每次升级)
- 打 tag 记录当前版本
- 升级,只看
systemctl --failed与关键服务端口 - 观察一小时,没问题才继续下一台
这套顺序不复杂,但它把"升级"从一个赌运气的动作变成了一个可以退回去的动作。对自建环境来说,能退回去,比不出事更重要。
备份不是复制
大多数人的"备份"是 cp -r 或者打个 tar。真正能恢复的备份要满足三条:可验证、可异地、可回滚到具体时间点。
三层备份
| 层 | 频率 | 介质 | 目的 |
|---|---|---|---|
| 快照 | 变更前 | 本地 LVM/ZFS | 分钟级回滚 |
| 全量 | 每日 | 另一块盘 | 误删恢复 |
| 异地 | 每周 | 另一台机器/对象存储 | 硬件损坏 |
三层的恢复时间分别是分钟、小时、小时以上。只有第一层能救"刚改坏"的场景。
vzdump 的正确参数
vzdump 101 --mode snapshot --compress zstd --storage backup-nfs --prune-backups keep-daily=7,keep-weekly=4
--mode snapshot 不停机;keep-daily=7 保留 7 天日备、keep-weekly=4 保留 4 周周备。不写 prune 参数,磁盘会在两个月内满。
必须做的恢复演练
qmrestore /mnt/backup/vzdump-qemu-101-2026_10_18.vma.zst 999 --storage local-lvm
qm start 999
恢复到临时 ID、起机、验证服务,再删掉。没演练过的备份,只能算"有一份文件"。
一个常见误判
备份文件大小正常,不代表内容完整。zstd 压缩包损坏时,vzdump 会成功退出,但 qmrestore 报 unexpected EOF。所以每次备份后跑一次 zstd -t 校验,成本几秒。