Bobay Stack 波贝自建栈

虚拟化 / 2026-10-24

千兆只跑 350M:两个天花板,别只怀疑宽带

一次完整的千兆不达标排查:PVE 里 Win10 用 e1000 网卡跑不满,软路由双核 CPU 又先打满。两个瓶颈叠在一起,只看一个永远修不好。

9 MIN READ BY BOBAY.TOP 更新于 2026-11-02 ↖ 全部笔记
千兆只跑 350M:两个天花板,别只怀疑宽带

带宽从 500 升到 1000,测速却长期停在 300–350M,而且换测速节点、换时段都一样。第一反应通常是运营商没给够,但这类"整段平坦"的曲线更像是在链路中段被某个固定上限卡住了。

我当时有两台上游:一台 PVE 上的 Windows 虚拟机,一台跑 iStoreOS 的软路由。两台各自都有一处天花板,叠起来刚好压在这个区间。

第一个天花板:模拟网卡没有多队列

PVE 默认给 Windows 客户机挂的是 e1000,这是纯软件模拟的 Intel 千兆卡。它的关键缺陷不是吞吐,而是没有 RSS(接收端多队列)。

实测结果很固定:

  • 单流:约 170–180M
  • 4 流并发:约 181M
  • 8 流并发:仍是 181M

也就是说,无论开多少并发,总吞吐都不涨——所有中断与收包都挤在一个核上,那个核先满了。这符合单队列网卡的特征,不是带宽问题。

改成 virtio 后就打开了多队列。虚拟网卡设置里把队列数调到与 vCPU 数匹配(例如 4 核给 4 队列),Windows 侧会识别成 Red Hat VirtIO Ethernet Adapter,多队列生效后多流才真正并行。

# 关机后改网卡模型,再开机(不要热改)
qm set 101 --net0 virtio,bridge=vmbr0,queues=4

改完记得在客户机里核对:任务管理器 → 性能 → 网络,看是否出现多条队列曲线。

第二个天花板:软路由只有两个核

把虚拟机的问题解决后,再测,还是不到 700M。这时把目光移到 iStoreOS 那台 QEMU 上:2 vCPU / 1 GB 内存,下载跑满时 CPU 直接 96–100%,其中主要是 softirq。

这里的问题不是"CPU 弱",而是分配比例不合适。全屋的所有流量(包括局域网内部的 SMB、备份、推流)都要经过这台软路由,它承担的是线速转发而不是"上个网"。

三条教训:

  1. 软路由至少 4 核,核数不足时先加核再看带宽,别急着换硬件。
  2. 1 GB 内存偏紧。转发本身不吃内存,但连接表、代理规则、DNS 缓存都要占;内存打满会触发 OOM 杀进程,表现成"偶发断网三秒"。
  3. 全屋压测时,别在同一时间跑备份或同步。软路由的 CPU 是共享资源,测试结果会被污染。

排出顺序

这次排查的价值不在于修好了哪一处,而在于确认了一个顺序:

  • 先看曲线形状:完全平坦 → 固定上限;锯齿 → 队列或中断;只有夜间差 → 外部拥塞。
  • 再看网卡模型与队列数,这是最容易忽略、改动成本最低的一项。
  • 最后看转发设备的 CPU 曲线,用 top 里 si(softirq)占比判断,而不是看总负载。

修完之后全屋能稳定在 540–700M,峰值接近 800M。距离千兆还有距离,但那已经是另一层的问题了——上行链路与对端节点的限制。

两个天花板的区分方法

千兆跑不满时,先判断是"链路层"还是"主机层":

  • 两台机器直连对拷,速度也上不去 → 主机层(网卡、CPU、协议栈)
  • 直连能跑满,过路由器就掉 → 链路层(软路由、交换机、线材)

这一步能把排查范围砍掉一半。

e1000 为什么跑不满

PVE 默认给 Windows 用 e1000(模拟 Intel 千兆卡),它的单流吞吐上限大约 300–400Mbps,且 CPU 占用高。换成 virtio 后同一条链路能到 900Mbps 以上。

# 查看 VM 当前网卡型号
qm config 101 | grep net0
# 改成 virtio(需要 VM 内装 virtio 驱动)
qm set 101 --net0 virtio,bridge=vmbr0

Windows 里要先装 virtio-win 驱动再改,顺序反了会直接断网。

软路由的 CPU 瓶颈

单核跑满、ksoftirqd 高占用,是软路由转发的典型症状:

top -H -p $(pgrep -f softirq)

如果 ksoftirqd/0 长期 90% 以上,说明单流全压在一个核上。办法是开多队列(ethtool -L eth0 combined 4)或者换支持 RSS 的网卡。

一个容易被忽略的点

测速工具本身也会成为瓶颈。iperf3 单流在弱 CPU 上跑不到千兆,要用 -P 4 多流测。单流跑 350M 不等于链路只有 350M。

PVEvirtioe1000iStoreOS网络测速

参考

Proxmox 网络模型与 virtio 说明 ↗ iStoreOS 官方文档 ↗