Bobay Stack 波贝自建栈

运维与排障 / 2026-11-02

升级前先证明你能退回去

备份不等于能恢复。做完备份、做一次真实恢复演练、再定变更窗口——三步之后升级这件事才变成可逆操作。

8 MIN READ BY BOBAY.TOP 更新于 2026-11-08 ↖ 全部笔记
升级前先证明你能退回去

每次升级前都做了备份,但有两次真出事时,备份并不能用:一次是备份文件在同一个磁盘上,盘挂了两个一起没;一次是备份里缺了 /etc 下的配置,恢复回来是个能开机但连不上网的系统。

备份要满足三个条件

  • 异地:至少一份不在同一台物理机、不在同一块盘上。
  • 可校验:有校验和或能列出内容,不是"文件大小看起来对"。
  • 含配置:不只是数据卷,还包括 /etc 下改过的服务配置。

在 PVE 上,最省事的起步是 vzdump 到远端存储:

vzdump <vmid> --mode snapshot --storage <远端存储> --compress zstd

容器和虚拟机的快照是"回滚到上一分钟",不是"备份"——它和原盘在一起,防误操作不防硬件。

文件级备份用 restic,第一次全量之后都是增量,代价小:

restic -r sftp:<远端>:<路径> init
restic -r sftp:<远端>:<路径> backup /etc /root /opt --exclude-caches
restic -r sftp:<远端>:<路径> snapshots

真正的一步:恢复演练

备份脚本跑绿了不代表能恢复。我会在一台闲置机器上做一次真实恢复,只恢复最关键的三个东西:

  1. 一份最小的容器快照,确认能启动。
  2. /etc 里的网络与 SSH 配置,确认恢复后能远程进。
  3. 一个业务数据目录,确认文件权限与属主正确。

这一步经常暴露"备份里有、但恢复脚本不认"的问题,比如 restic restore 之后的属主是 root 而不是原来的服务用户。

变更窗口

升级本身不是风险,升级和别的变更叠在一起才是。定窗口时做三件事:

  • 一次只改一层。升内核、升面板、改网络配置,不要放在同一晚。
  • 记录升级前的版本号与关键配置 diff,出问题时这是唯一的对照基线。
  • 留一小时观察期,期间不安排其他任务。日志里 dmesg 与 systemctl --failed 是必看的两个。

我现在的固定顺序

  1. vzdump 到远端 + restic backup /etc
  2. 抽一份做恢复演练(每月一次,不是每次升级)
  3. 打 tag 记录当前版本
  4. 升级,只看 systemctl --failed 与关键服务端口
  5. 观察一小时,没问题才继续下一台

这套顺序不复杂,但它把"升级"从一个赌运气的动作变成了一个可以退回去的动作。对自建环境来说,能退回去,比不出事更重要。

备份不是复制

大多数人的"备份"是 cp -r 或者打个 tar。真正能恢复的备份要满足三条:可验证、可异地、可回滚到具体时间点。

三层备份

层频率介质目的
快照变更前本地 LVM/ZFS分钟级回滚
全量每日另一块盘误删恢复
异地每周另一台机器/对象存储硬件损坏

三层的恢复时间分别是分钟、小时、小时以上。只有第一层能救"刚改坏"的场景。

vzdump 的正确参数

vzdump 101 --mode snapshot --compress zstd --storage backup-nfs --prune-backups keep-daily=7,keep-weekly=4

--mode snapshot 不停机;keep-daily=7 保留 7 天日备、keep-weekly=4 保留 4 周周备。不写 prune 参数,磁盘会在两个月内满。

必须做的恢复演练

qmrestore /mnt/backup/vzdump-qemu-101-2026_10_18.vma.zst 999 --storage local-lvm
qm start 999

恢复到临时 ID、起机、验证服务,再删掉。没演练过的备份,只能算"有一份文件"。

一个常见误判

备份文件大小正常,不代表内容完整。zstd 压缩包损坏时,vzdump 会成功退出,但 qmrestore 报 unexpected EOF。所以每次备份后跑一次 zstd -t 校验,成本几秒。

备份resticLXC变更管理

参考

Proxmox 备份与恢复 ↗ restic 文档 ↗