虚拟化 / 2026-07-15
LXC 里直通 GPU:三种方式与实际差别
容器不是虚拟机,直通 GPU 的实现路径完全不同。设备直通、驱动挂载、以及什么时候该放弃 LXC 改用虚拟机。
容器共享宿主内核,所以"直通"在 LXC 里不是把 PCI 设备交给虚拟机,而是把设备节点与驱动暴露给容器。理解这一点,后面所有坑都好解释。
方式一:设备节点直通
最直接的做法,是在容器配置里加上设备节点与挂载点:
# 宿主机上确认设备节点
ls -l /dev/nvidia*
# 追加到 /etc/pve/lxc/<vmid>.conf
lxc.cgroup2.devices.allow: c 195:* rwm
lxc.mount.entry: /dev/nvidia0 dev/nvidia0 none bind,optional,create=file
lxc.mount.entry: /dev/nvidiactl dev/nvidiactl none bind,optional,create=file
要点:
- 主设备号要与你机器上的实际值一致(NVIDIA 通常是 195,AMD 的
renderD*是 226)。 - 用户空间驱动库(
libnvidia-*.so)不会自动进容器,要么挂载宿主机的库目录,要么在容器里装同版本驱动。版本必须严格一致,否则nvidia-smi直接报 "Failed to initialize NVML"。 - 容器里的
nvidia-smi能跑,不代表 CUDA 能跑;还要/dev/nvidia-uvm。
方式二:用 nvidia-container-toolkit 的思路
这条路更适合 Docker 容器,对 LXC 帮助有限。LXC 没有 Docker 那样的 runtime hook,只能手工把设备与库一起挂进去。所以常见做法是:宿主机装驱动,LXC 里挂设备 + 挂库,容器内不装驱动。
方式三:干脆用虚拟机
如果目标是给模型推理用一张卡,并且需要完整的驱动栈、CUDA、甚至要重装驱动,虚拟机的成本反而更低。PCI 直通到 QEMU 之后,客户机就是一个独立的机器,驱动装坏了大不了重装快照,不影响宿主。
判断标准很简单:
| 需求 | 建议 |
|---|---|
只要 nvidia-smi 监控或轻量编码 | LXC 设备直通,够用 |
| 完整 CUDA / 推理服务,频繁升级驱动 | 虚拟机 PCI 直通 |
| 多容器共享一张卡 | LXC 挂载 + 限额,注意显存争抢 |
| 需要 vGPU 切分 | 看卡是否支持,消费级基本不行 |
两个常见故障
- 容器启动失败:
lxc.cgroup2.devices.allow的主设备号写错,或 mount entry 路径不存在。看journalctl -u pve-container@<vmid>。 - 宿主机驱动更新后容器失效:库和驱动版本对不上。容器的库是挂载进去的,宿主机升级了驱动,容器里还是旧库——重启容器或重新挂载即可。
最后一句:直通给容器意味着显卡不再能被宿主机其他容器同时按需分配。多租户场景请老实做限额,否则一个跑满显存的容器会让其他人的任务 OOM。
直通的三条路径
LXC 跑 GPU 有三条路,成本和兼容性完全不同:
| 方式 | 前提 | 隔离性 | 适用 |
|---|---|---|---|
设备直通 /dev/nvidia* | 宿主机装好驱动 | 弱(共享内核) | 单容器推理 |
nvidia-container-toolkit + CDI | Docker/OCI 生态 | 中 | 容器化应用 |
| VM + PCIe passthrough | IOMMU 分组独立 | 强 | 需要独立驱动版本 |
LXC 直通是"把设备节点映射进容器",不是虚拟化,所以容器里不要装驱动——装了会和宿主机版本打架。
最小配置
# /etc/pve/lxc/101.conf
lxc.cgroup2.devices.allow: c 195:* rwm
lxc.cgroup2.devices.allow: c 511:* rwm
lxc.mount.entry: /dev/nvidia0 dev/nvidia0 none bind,optional,create=file
lxc.mount.entry: /dev/nvidiactl dev/nvidiactl none bind,optional,create=file
lxc.mount.entry: /dev/nvidia-uvm dev/nvidia-uvm none bind,optional,create=file
195 是 nvidia 主设备号,511 是 nvidia-uvm。少映射 nvidia-uvm 的典型症状是:nvidia-smi 能跑,但 CUDA 初始化直接崩。
验证
# 容器内
ls -l /dev/nvidia*
nvidia-smi
python -c "import torch; print(torch.cuda.is_available())"
如果 nvidia-smi 正常但 torch 返回 False,八成是驱动版本与容器内 CUDA 运行库不匹配,不是直通失败。
一个安全提醒
直通 GPU 等于把这个设备交给容器。容器内的进程可以读 GPU 显存、可以改频率。多租户场景不要用 LXC 直通,用 VM 直通。
一句总结:把"出问题的地方"和"验证的方法"写在一起,比只写配置更有用——配置抄得到,判断顺序抄不到。