一、先算一个除法:通信时间占多少

判断「要不要做多机组网」,有一个极简方法:算一次梯度同步的通信量,除以机间网络的有效带宽。

以 7B 参数模型、FP16 混合精度训练为例。单卡上的梯度约 14GB(7B × 2 字节)。8 卡做数据并行时,采用 Ring AllReduce,每张卡实际要收发的数据量是 2 × (N-1)/N × S,N=8、S=14GB,算出约 24.5GB。这不是笔误——AllReduce 的通信量是模型大小的近 2 倍,因为要经过 reduce-scatter 与 all-gather 两个阶段。

有了通信量,再除以带宽。假设机间用 200G IB(单向 25GB/s),24.5 ÷ 25 ≈ 1 秒;用 400G(单向 50GB/s)约 0.5 秒。而一次训练步的计算时间,8 卡 H100 跑 7B 模型大约 1~2 秒。也就是说,200G 网络下通信占了步时的 30%~50%,加卡后的加速比会明显低于线性。

这个除法还能反过来用:如果算出来通信时间占比超过 20%,说明当前网络是瓶颈,加卡不如换网络;如果低于 10%,说明网络够用,加卡是有效的;介于 10%~20% 之间属于可优化区间,先做 NCCL 调优再决定是否换网络。很多团队在 8 卡扩到 32 卡时发现「只快了 1.8 倍」,原因就在这里——不是卡不好,是机间网络没跟上。

一个容易忽略的变量:上面算的是数据并行(DDP)。如果用张量并行(TP)或流水线并行(PP),通信模式与通信量都不同——TP 的通信更频繁、对时延更敏感,通常限制在单机内(走 NVLink);PP 的通信量小但对带宽稳定性要求高。选并行策略时要把网络能力一起考虑。

二、三种互联:IB、RoCE、TCP

机间互联只有三条路,选择取决于规模、预算与运维能力。

三种机间互联方案的对比(时延为量级参考,实际随拓扑与负载变化)
维度InfiniBand(IB)RoCE v2TCP 以太网
典型带宽200G / 400G100G / 200G / 400G10G / 25G / 100G
单向吞吐25~50GB/s12.5~50GB/s1.25~12.5GB/s
时延量级约 1μs约 2~3μs10~50μs
无损机制链路层自带流控需配置 PFC + ECN无,靠拥塞控制
运维复杂度低(专用网络,开箱即用)中高(需调优,配错会丢包)低
成本最高中等最低
适合规模32 卡以上、对时延敏感16~64 卡、预算受限8 卡以内或存储网络

IB 的优势是「不用调」。它从设计上就是无损网络,链路层自带信用流控,不存在丢包重传。代价是专用硬件——IB 网卡、IB 交换机、专用线缆,生态封闭,价格高,二手流通性差。

RoCE 的优势是「复用现有以太网」。同样的交换机可以用在业务网络与存储网络,运维团队熟悉。但它有一个硬门槛:必须配无损。RoCE 在拥塞时会丢包,而分布式训练的集合通信对丢包极度敏感——丢一个包,整个 AllReduce 要等重传,时延抖动可能放大几十倍。所以要配 PFC(优先级流控)防丢包、配 ECN(显式拥塞通知)防 PFC 死锁,两个机制互相牵制,配错的结果是「平时正常,一拥塞就全网卡死」。

TCP 只适合小规模或非通信密集型任务。8 卡以内的数据并行,如果模型不大(通信量几 GB),万兆或 25G 以太网也能跑,只是加速比会打折。它的价值在于「不用额外投入」——如果业务本来就是推理为主,偶尔跑小规模微调,没必要为它单独建一套 IB 网络。如果一年只跑两三次多机微调,用按需资源可能比自己建网更省,这笔账要按实际频次算。

三、单机之内:NVLink 与 PCIe 的分界

很多人把注意力全放在机间网络,忽略了机内互联——而机内带宽往往决定「单机 8 卡能不能跑满」。

SXM 形态的 GPU 通过 NVLink 互联,H100 一代的 NVLink 4 总带宽约 900GB/s(双向),单卡与其他卡之间的点对点带宽在 450GB/s 量级。这个带宽是 PCIe 的十倍以上。所以 SXM 机型做张量并行(TP=8)时,通信开销可以忽略。

PCIe 形态的 GPU(比如插在标准插槽上的推理卡、消费级卡)走 PCIe 4.0 x16,双向 32GB/s,且多卡共享 CPU 的 PCIe 通道。8 卡插满时,如果没有 PCIe Switch,卡间通信要绕 CPU,实际带宽会降到 10GB/s 级别。这时候跑 TP=8 会非常慢,通常只能做数据并行。

这就是「同样 8 卡,SXM 与 PCIe 机型价格差一倍」的技术原因,也是托管选型时必须问清的一个问题:卡是 SXM 还是 PCIe?如果是 PCIe,多机扩展的价值会大打折扣——机内都跑不满,机间再快也没用。

四、拓扑:叶脊与收敛比

多机集群的网络拓扑基本只有一种:叶脊(Spine-Leaf)。服务器接在 Leaf 交换机上,Leaf 全互联到 Spine,任意两台服务器之间最多两跳。

关键参数是收敛比,即下行带宽总和与上行带宽总和的比值。一台 Leaf 有 32 个 400G 下行端口接服务器,4 个 400G 上行接 Spine,收敛比就是 8:1——意味着 32 台服务器同时满速发送时,上行只能承载 1/8 的流量。

收敛比与适用场景
收敛比含义适用代价
1:1(无收敛)下行与上行带宽相等32 卡以上训练集群交换机端口成本最高
2:1下行是上行的 2 倍16~32 卡、通信中等极端并发时有排队
3:1下行是上行的 3 倍8~16 卡、预算受限大规模 AllReduce 会明显变慢
8:1 以上严重收敛仅适合推理或存储网络不适用于训练

为什么训练必须追求低收敛比?因为 AllReduce 是「全卡同时通信」的模式——8 台机器、每台 8 卡,在 reduce-scatter 阶段每台机器都在向外发送,同时对端也在发送。这种模式下,任何收敛都会变成排队,而排队在同步训练里等于所有卡一起等。

实操建议:32 卡以下可以用 3:1 起步,把预算留给 GPU;32 卡以上直接做 1:1,因为这时候网络已经是主要瓶颈,省交换机钱等于浪费 GPU 钱。一个具体的账:32 卡集群,GPU 投入是百万级,一套 1:1 的 400G IB 网络是几十万级,如果因为 3:1 收敛导致训练效率下降 30%,多花的 GPU 时间成本一年就超过网络差价。

五、还有两张网:存储与管理

训练集群通常需要三张物理隔离的网络,很多方案只设计了一张。

第一张:计算网(东西向)。就是上面讲的 IB 或 RoCE,专门跑集合通信。要求高带宽、低时延、无损。

第二张:存储网。训练要不断读数据集、写 checkpoint。7B 模型的 checkpoint 一次约 14~28GB,每小时存一次,一天就是 300~700GB。这些流量走计算网会挤占 AllReduce 的带宽,走公网更不行。规范做法是单独的存储网(25G 或 100G 以太网),接 NFS 或对象存储。

第三张:管理网。IPMI/BMC、监控采集、SSH 运维。这张网带宽要求最低(千兆足够),但可用性要求最高——计算网挂了还能靠它进去救。要求是与业务网物理或 VLAN 隔离,且能从外部通过 VPN 访问。

三张网如果混在一张物理网上,会出现两个典型问题:一是 checkpoint 写入时 AllReduce 变慢(带宽争抢),二是一次误配置把管理网打通到公网(安全风险)。托管时把三张网的 VLAN 与端口需求一次报清,比上线后再拆便宜得多。

六、交换机、线缆与 MTU:三个容易买错的细节

拓扑设计完,落地时还有三处常见错误,都会导致「设备到了装不上」或「装上了跑不快」。

一是端口拆分(breakout)。一个 400G 端口可以拆成 4 个 100G 使用,这在组网时非常有用——当服务器的网卡是 100G 而交换机是 400G 时,不用为每台服务器占一个 400G 口,一个口服务 4 台。前提是配对应的拆分线缆(400G 转 4×100G),且交换机支持该拆分模式。买交换机时把「需要支持 breakout」写进需求,比事后刷固件省事。

二是线缆类型。三米以内用 DAC 直连铜缆,最便宜、时延最低;十米以内用 AOC 有源光缆,比 DAC 细、易布线;再远就要用光模块加光纤,多模 OM4 在 400G 下约 100m,超出换单模。同一个机柜内用 DAC 就够,跨柜用 AOC 或光纤。买错线缆的典型表现是「插上去 link 灯不亮」,或者「勉强亮但误码率高」。

三是 MTU。IB 网络默认 MTU 较大(2048 或 4096),以太网默认 1500。RoCE 场景下通常要把 MTU 调到 9000(巨帧),且路径上所有设备——网卡、交换机、存储——都要一致。有一处是 1500,大包就会被分片,性能直接掉一半。这一项在调优清单里排第一位,因为它排查起来最费时间:ping 小包正常、传大文件慢,很容易被误判成带宽不足。

七、NCCL 跑不快,往往是四个环境变量没设

硬件到位后,最常见的现象是「带宽测起来正常,但训练还是慢」。原因通常是 NCCL 选错了网卡或走了错误的路径。

第一个:NCCL_SOCKET_IFNAME。机器有多张网卡时(计算网、存储网、管理网、业务网),NCCL 默认可能选中管理网。结果就是训练流量挤在千兆网上跑,性能差几十倍。这个变量要明确指定计算网卡,如 NCCL_SOCKET_IFNAME=ib0 或 =eth2。

第二个:NCCL_IB_HCA。一台机器插了 8 张 IB 网卡(一卡一口)时,不指定会让 NCCL 自己猜。指定成 =mlx5_0,mlx5_1,... 或按前缀 =mlx5 更稳妥。猜测失败的表现是通信只用了 1~2 张卡,带宽只有标称的 1/4。

第三个:NCCL_IB_GID_INDEX。RoCE v2 场景必须设为 3(RoCEv2 的 GID 索引),否则会退化成 RoCE v1 或直接失败。这是 RoCE 组网最常踩的坑,报错信息还不直观。

第四个:NCCL_ALGO 与 NCCL_PROTO。小规模(8 卡内)用 Ring + LL128 通常最优,大规模(32 卡以上)可以试 Tree 算法。这两项不必一开始就调,等带宽测通、任务跑起来后,用 NCCL tests 的 bus bandwidth 对比几组配置即可,差异通常在 5%~15%。

验证方式很简单:跑一次 NCCL tests 的 all_reduce_perf,看输出的 bus bandwidth。8 卡单机的 NVLink 场景应在 200GB/s 以上,跨机 200G IB 应在 20GB/s 以上。如果只有个位数,先查上面四个变量,再查 MTU 与 PFC,最后才怀疑硬件。

八、托管侧要配合的四件事

组网方案定完,落地要靠机房配合。以下四项必须在签约前确认,事后补做往往要移机。

集群托管需要机房配合的四项
项目具体要求为什么重要
相邻机位多台机器尽量同柜或相邻柜跨柜光纤跳线距离短、时延低、布线成本低
独立 VLAN计算网 / 存储网 / 管理网三个 VLAN流量隔离,避免互相挤占与安全暴露
交换机位与电力柜内预留 1~2U 与独立电源Leaf 交换机通常放在客户机柜内
跨柜走线柜间光纤跳线通道与长度跨柜距离超过 100m 要换光模块类型

第 4 项容易被忽略。多模光纤(OM4)在 400G 下传输距离约 100m,单模可以到几公里。如果集群分散在不同机柜区,跳线长度可能超过多模极限,需要换单模模块——这是采购清单上的一个额外成本项,也是施工时的返工点。所以规划时最好把集群的物理位置画出来:几台机器在哪几个柜、交换机放哪个柜、跳线怎么走。

还有一个实践建议:先做 2 机 16 卡的验证。用小规模把 IB/RoCE 的连通性、带宽(ib_write_bw 或 perftest)、集合通信性能(NCCL tests)跑通,再批量上量。这一步通常半天就能完成,但能提前发现 90% 的配置问题——包括线序、子网管理器、MTU、PFC 配置。

最后回到那个除法。组网方案好不好,不由「用了 400G」决定,由「通信时间占步时的比例」决定。同一个 32 卡集群,200G IB 与 400G RoCE 的差距可能小于 15%,而 3:1 收敛与 1:1 的差距可能超过 40%。把钱花在收敛比上,比花在单端口速率上更有效——这是多机训练组网最反直觉、也最值钱的一条经验。