虚拟化 / 2026-10-24
千兆只跑 350M:两个天花板,别只怀疑宽带
一次完整的千兆不达标排查:PVE 里 Win10 用 e1000 网卡跑不满,软路由双核 CPU 又先打满。两个瓶颈叠在一起,只看一个永远修不好。
带宽从 500 升到 1000,测速却长期停在 300–350M,而且换测速节点、换时段都一样。第一反应通常是运营商没给够,但这类"整段平坦"的曲线更像是在链路中段被某个固定上限卡住了。
我当时有两台上游:一台 PVE 上的 Windows 虚拟机,一台跑 iStoreOS 的软路由。两台各自都有一处天花板,叠起来刚好压在这个区间。
第一个天花板:模拟网卡没有多队列
PVE 默认给 Windows 客户机挂的是 e1000,这是纯软件模拟的 Intel 千兆卡。它的关键缺陷不是吞吐,而是没有 RSS(接收端多队列)。
实测结果很固定:
- 单流:约 170–180M
- 4 流并发:约 181M
- 8 流并发:仍是 181M
也就是说,无论开多少并发,总吞吐都不涨——所有中断与收包都挤在一个核上,那个核先满了。这符合单队列网卡的特征,不是带宽问题。
改成 virtio 后就打开了多队列。虚拟网卡设置里把队列数调到与 vCPU 数匹配(例如 4 核给 4 队列),Windows 侧会识别成 Red Hat VirtIO Ethernet Adapter,多队列生效后多流才真正并行。
# 关机后改网卡模型,再开机(不要热改)
qm set 101 --net0 virtio,bridge=vmbr0,queues=4
改完记得在客户机里核对:任务管理器 → 性能 → 网络,看是否出现多条队列曲线。
第二个天花板:软路由只有两个核
把虚拟机的问题解决后,再测,还是不到 700M。这时把目光移到 iStoreOS 那台 QEMU 上:2 vCPU / 1 GB 内存,下载跑满时 CPU 直接 96–100%,其中主要是 softirq。
这里的问题不是"CPU 弱",而是分配比例不合适。全屋的所有流量(包括局域网内部的 SMB、备份、推流)都要经过这台软路由,它承担的是线速转发而不是"上个网"。
三条教训:
- 软路由至少 4 核,核数不足时先加核再看带宽,别急着换硬件。
- 1 GB 内存偏紧。转发本身不吃内存,但连接表、代理规则、DNS 缓存都要占;内存打满会触发 OOM 杀进程,表现成"偶发断网三秒"。
- 全屋压测时,别在同一时间跑备份或同步。软路由的 CPU 是共享资源,测试结果会被污染。
排出顺序
这次排查的价值不在于修好了哪一处,而在于确认了一个顺序:
- 先看曲线形状:完全平坦 → 固定上限;锯齿 → 队列或中断;只有夜间差 → 外部拥塞。
- 再看网卡模型与队列数,这是最容易忽略、改动成本最低的一项。
- 最后看转发设备的 CPU 曲线,用
top里si(softirq)占比判断,而不是看总负载。
修完之后全屋能稳定在 540–700M,峰值接近 800M。距离千兆还有距离,但那已经是另一层的问题了——上行链路与对端节点的限制。
两个天花板的区分方法
千兆跑不满时,先判断是"链路层"还是"主机层":
- 两台机器直连对拷,速度也上不去 → 主机层(网卡、CPU、协议栈)
- 直连能跑满,过路由器就掉 → 链路层(软路由、交换机、线材)
这一步能把排查范围砍掉一半。
e1000 为什么跑不满
PVE 默认给 Windows 用 e1000(模拟 Intel 千兆卡),它的单流吞吐上限大约 300–400Mbps,且 CPU 占用高。换成 virtio 后同一条链路能到 900Mbps 以上。
# 查看 VM 当前网卡型号
qm config 101 | grep net0
# 改成 virtio(需要 VM 内装 virtio 驱动)
qm set 101 --net0 virtio,bridge=vmbr0
Windows 里要先装 virtio-win 驱动再改,顺序反了会直接断网。
软路由的 CPU 瓶颈
单核跑满、ksoftirqd 高占用,是软路由转发的典型症状:
top -H -p $(pgrep -f softirq)
如果 ksoftirqd/0 长期 90% 以上,说明单流全压在一个核上。办法是开多队列(ethtool -L eth0 combined 4)或者换支持 RSS 的网卡。
一个容易被忽略的点
测速工具本身也会成为瓶颈。iperf3 单流在弱 CPU 上跑不到千兆,要用 -P 4 多流测。单流跑 350M 不等于链路只有 350M。