Bobay Stack 波贝自建栈

虚拟化 / 2026-07-15

LXC 里直通 GPU:三种方式与实际差别

容器不是虚拟机,直通 GPU 的实现路径完全不同。设备直通、驱动挂载、以及什么时候该放弃 LXC 改用虚拟机。

8 MIN READ BY BOBAY.TOP 更新于 2026-07-20 ↖ 全部笔记
LXC 里直通 GPU:三种方式与实际差别

容器共享宿主内核,所以"直通"在 LXC 里不是把 PCI 设备交给虚拟机,而是把设备节点与驱动暴露给容器。理解这一点,后面所有坑都好解释。

方式一:设备节点直通

最直接的做法,是在容器配置里加上设备节点与挂载点:

# 宿主机上确认设备节点
ls -l /dev/nvidia*

# 追加到 /etc/pve/lxc/<vmid>.conf
lxc.cgroup2.devices.allow: c 195:* rwm
lxc.mount.entry: /dev/nvidia0 dev/nvidia0 none bind,optional,create=file
lxc.mount.entry: /dev/nvidiactl dev/nvidiactl none bind,optional,create=file

要点:

  • 主设备号要与你机器上的实际值一致(NVIDIA 通常是 195,AMD 的 renderD* 是 226)。
  • 用户空间驱动库(libnvidia-*.so)不会自动进容器,要么挂载宿主机的库目录,要么在容器里装同版本驱动。版本必须严格一致,否则 nvidia-smi 直接报 "Failed to initialize NVML"。
  • 容器里的 nvidia-smi 能跑,不代表 CUDA 能跑;还要 /dev/nvidia-uvm。

方式二:用 nvidia-container-toolkit 的思路

这条路更适合 Docker 容器,对 LXC 帮助有限。LXC 没有 Docker 那样的 runtime hook,只能手工把设备与库一起挂进去。所以常见做法是:宿主机装驱动,LXC 里挂设备 + 挂库,容器内不装驱动。

方式三:干脆用虚拟机

如果目标是给模型推理用一张卡,并且需要完整的驱动栈、CUDA、甚至要重装驱动,虚拟机的成本反而更低。PCI 直通到 QEMU 之后,客户机就是一个独立的机器,驱动装坏了大不了重装快照,不影响宿主。

判断标准很简单:

需求建议
只要 nvidia-smi 监控或轻量编码LXC 设备直通,够用
完整 CUDA / 推理服务,频繁升级驱动虚拟机 PCI 直通
多容器共享一张卡LXC 挂载 + 限额,注意显存争抢
需要 vGPU 切分看卡是否支持,消费级基本不行

两个常见故障

  • 容器启动失败:lxc.cgroup2.devices.allow 的主设备号写错,或 mount entry 路径不存在。看 journalctl -u pve-container@<vmid>。
  • 宿主机驱动更新后容器失效:库和驱动版本对不上。容器的库是挂载进去的,宿主机升级了驱动,容器里还是旧库——重启容器或重新挂载即可。

最后一句:直通给容器意味着显卡不再能被宿主机其他容器同时按需分配。多租户场景请老实做限额,否则一个跑满显存的容器会让其他人的任务 OOM。

直通的三条路径

LXC 跑 GPU 有三条路,成本和兼容性完全不同:

方式前提隔离性适用
设备直通 /dev/nvidia*宿主机装好驱动弱(共享内核)单容器推理
nvidia-container-toolkit + CDIDocker/OCI 生态中容器化应用
VM + PCIe passthroughIOMMU 分组独立强需要独立驱动版本

LXC 直通是"把设备节点映射进容器",不是虚拟化,所以容器里不要装驱动——装了会和宿主机版本打架。

最小配置

# /etc/pve/lxc/101.conf
lxc.cgroup2.devices.allow: c 195:* rwm
lxc.cgroup2.devices.allow: c 511:* rwm
lxc.mount.entry: /dev/nvidia0 dev/nvidia0 none bind,optional,create=file
lxc.mount.entry: /dev/nvidiactl dev/nvidiactl none bind,optional,create=file
lxc.mount.entry: /dev/nvidia-uvm dev/nvidia-uvm none bind,optional,create=file

195 是 nvidia 主设备号,511 是 nvidia-uvm。少映射 nvidia-uvm 的典型症状是:nvidia-smi 能跑,但 CUDA 初始化直接崩。

验证

# 容器内
ls -l /dev/nvidia*
nvidia-smi
python -c "import torch; print(torch.cuda.is_available())"

如果 nvidia-smi 正常但 torch 返回 False,八成是驱动版本与容器内 CUDA 运行库不匹配,不是直通失败。

一个安全提醒

直通 GPU 等于把这个设备交给容器。容器内的进程可以读 GPU 显存、可以改频率。多租户场景不要用 LXC 直通,用 VM 直通。

一句总结:把"出问题的地方"和"验证的方法"写在一起,比只写配置更有用——配置抄得到,判断顺序抄不到。

LXCGPU直通PVE

参考

PVE LXC 文档 ↗ NVIDIA 容器工具包 ↗