一、先算一个除法:通信时间占多少
判断「要不要做多机组网」,有一个极简方法:算一次梯度同步的通信量,除以机间网络的有效带宽。
以 7B 参数模型、FP16 混合精度训练为例。单卡上的梯度约 14GB(7B × 2 字节)。8 卡做数据并行时,采用 Ring AllReduce,每张卡实际要收发的数据量是 2 × (N-1)/N × S,N=8、S=14GB,算出约 24.5GB。这不是笔误——AllReduce 的通信量是模型大小的近 2 倍,因为要经过 reduce-scatter 与 all-gather 两个阶段。
有了通信量,再除以带宽。假设机间用 200G IB(单向 25GB/s),24.5 ÷ 25 ≈ 1 秒;用 400G(单向 50GB/s)约 0.5 秒。而一次训练步的计算时间,8 卡 H100 跑 7B 模型大约 1~2 秒。也就是说,200G 网络下通信占了步时的 30%~50%,加卡后的加速比会明显低于线性。
这个除法还能反过来用:如果算出来通信时间占比超过 20%,说明当前网络是瓶颈,加卡不如换网络;如果低于 10%,说明网络够用,加卡是有效的;介于 10%~20% 之间属于可优化区间,先做 NCCL 调优再决定是否换网络。很多团队在 8 卡扩到 32 卡时发现「只快了 1.8 倍」,原因就在这里——不是卡不好,是机间网络没跟上。
二、三种互联:IB、RoCE、TCP
机间互联只有三条路,选择取决于规模、预算与运维能力。
| 维度 | InfiniBand(IB) | RoCE v2 | TCP 以太网 |
|---|---|---|---|
| 典型带宽 | 200G / 400G | 100G / 200G / 400G | 10G / 25G / 100G |
| 单向吞吐 | 25~50GB/s | 12.5~50GB/s | 1.25~12.5GB/s |
| 时延量级 | 约 1μs | 约 2~3μs | 10~50μs |
| 无损机制 | 链路层自带流控 | 需配置 PFC + ECN | 无,靠拥塞控制 |
| 运维复杂度 | 低(专用网络,开箱即用) | 中高(需调优,配错会丢包) | 低 |
| 成本 | 最高 | 中等 | 最低 |
| 适合规模 | 32 卡以上、对时延敏感 | 16~64 卡、预算受限 | 8 卡以内或存储网络 |
IB 的优势是「不用调」。它从设计上就是无损网络,链路层自带信用流控,不存在丢包重传。代价是专用硬件——IB 网卡、IB 交换机、专用线缆,生态封闭,价格高,二手流通性差。
RoCE 的优势是「复用现有以太网」。同样的交换机可以用在业务网络与存储网络,运维团队熟悉。但它有一个硬门槛:必须配无损。RoCE 在拥塞时会丢包,而分布式训练的集合通信对丢包极度敏感——丢一个包,整个 AllReduce 要等重传,时延抖动可能放大几十倍。所以要配 PFC(优先级流控)防丢包、配 ECN(显式拥塞通知)防 PFC 死锁,两个机制互相牵制,配错的结果是「平时正常,一拥塞就全网卡死」。
TCP 只适合小规模或非通信密集型任务。8 卡以内的数据并行,如果模型不大(通信量几 GB),万兆或 25G 以太网也能跑,只是加速比会打折。它的价值在于「不用额外投入」——如果业务本来就是推理为主,偶尔跑小规模微调,没必要为它单独建一套 IB 网络。如果一年只跑两三次多机微调,用按需资源可能比自己建网更省,这笔账要按实际频次算。
三、单机之内:NVLink 与 PCIe 的分界
很多人把注意力全放在机间网络,忽略了机内互联——而机内带宽往往决定「单机 8 卡能不能跑满」。
SXM 形态的 GPU 通过 NVLink 互联,H100 一代的 NVLink 4 总带宽约 900GB/s(双向),单卡与其他卡之间的点对点带宽在 450GB/s 量级。这个带宽是 PCIe 的十倍以上。所以 SXM 机型做张量并行(TP=8)时,通信开销可以忽略。
PCIe 形态的 GPU(比如插在标准插槽上的推理卡、消费级卡)走 PCIe 4.0 x16,双向 32GB/s,且多卡共享 CPU 的 PCIe 通道。8 卡插满时,如果没有 PCIe Switch,卡间通信要绕 CPU,实际带宽会降到 10GB/s 级别。这时候跑 TP=8 会非常慢,通常只能做数据并行。
这就是「同样 8 卡,SXM 与 PCIe 机型价格差一倍」的技术原因,也是托管选型时必须问清的一个问题:卡是 SXM 还是 PCIe?如果是 PCIe,多机扩展的价值会大打折扣——机内都跑不满,机间再快也没用。
四、拓扑:叶脊与收敛比
多机集群的网络拓扑基本只有一种:叶脊(Spine-Leaf)。服务器接在 Leaf 交换机上,Leaf 全互联到 Spine,任意两台服务器之间最多两跳。
关键参数是收敛比,即下行带宽总和与上行带宽总和的比值。一台 Leaf 有 32 个 400G 下行端口接服务器,4 个 400G 上行接 Spine,收敛比就是 8:1——意味着 32 台服务器同时满速发送时,上行只能承载 1/8 的流量。
| 收敛比 | 含义 | 适用 | 代价 |
|---|---|---|---|
| 1:1(无收敛) | 下行与上行带宽相等 | 32 卡以上训练集群 | 交换机端口成本最高 |
| 2:1 | 下行是上行的 2 倍 | 16~32 卡、通信中等 | 极端并发时有排队 |
| 3:1 | 下行是上行的 3 倍 | 8~16 卡、预算受限 | 大规模 AllReduce 会明显变慢 |
| 8:1 以上 | 严重收敛 | 仅适合推理或存储网络 | 不适用于训练 |
为什么训练必须追求低收敛比?因为 AllReduce 是「全卡同时通信」的模式——8 台机器、每台 8 卡,在 reduce-scatter 阶段每台机器都在向外发送,同时对端也在发送。这种模式下,任何收敛都会变成排队,而排队在同步训练里等于所有卡一起等。
实操建议:32 卡以下可以用 3:1 起步,把预算留给 GPU;32 卡以上直接做 1:1,因为这时候网络已经是主要瓶颈,省交换机钱等于浪费 GPU 钱。一个具体的账:32 卡集群,GPU 投入是百万级,一套 1:1 的 400G IB 网络是几十万级,如果因为 3:1 收敛导致训练效率下降 30%,多花的 GPU 时间成本一年就超过网络差价。
五、还有两张网:存储与管理
训练集群通常需要三张物理隔离的网络,很多方案只设计了一张。
第一张:计算网(东西向)。就是上面讲的 IB 或 RoCE,专门跑集合通信。要求高带宽、低时延、无损。
第二张:存储网。训练要不断读数据集、写 checkpoint。7B 模型的 checkpoint 一次约 14~28GB,每小时存一次,一天就是 300~700GB。这些流量走计算网会挤占 AllReduce 的带宽,走公网更不行。规范做法是单独的存储网(25G 或 100G 以太网),接 NFS 或对象存储。
第三张:管理网。IPMI/BMC、监控采集、SSH 运维。这张网带宽要求最低(千兆足够),但可用性要求最高——计算网挂了还能靠它进去救。要求是与业务网物理或 VLAN 隔离,且能从外部通过 VPN 访问。
三张网如果混在一张物理网上,会出现两个典型问题:一是 checkpoint 写入时 AllReduce 变慢(带宽争抢),二是一次误配置把管理网打通到公网(安全风险)。托管时把三张网的 VLAN 与端口需求一次报清,比上线后再拆便宜得多。
六、交换机、线缆与 MTU:三个容易买错的细节
拓扑设计完,落地时还有三处常见错误,都会导致「设备到了装不上」或「装上了跑不快」。
一是端口拆分(breakout)。一个 400G 端口可以拆成 4 个 100G 使用,这在组网时非常有用——当服务器的网卡是 100G 而交换机是 400G 时,不用为每台服务器占一个 400G 口,一个口服务 4 台。前提是配对应的拆分线缆(400G 转 4×100G),且交换机支持该拆分模式。买交换机时把「需要支持 breakout」写进需求,比事后刷固件省事。
二是线缆类型。三米以内用 DAC 直连铜缆,最便宜、时延最低;十米以内用 AOC 有源光缆,比 DAC 细、易布线;再远就要用光模块加光纤,多模 OM4 在 400G 下约 100m,超出换单模。同一个机柜内用 DAC 就够,跨柜用 AOC 或光纤。买错线缆的典型表现是「插上去 link 灯不亮」,或者「勉强亮但误码率高」。
三是 MTU。IB 网络默认 MTU 较大(2048 或 4096),以太网默认 1500。RoCE 场景下通常要把 MTU 调到 9000(巨帧),且路径上所有设备——网卡、交换机、存储——都要一致。有一处是 1500,大包就会被分片,性能直接掉一半。这一项在调优清单里排第一位,因为它排查起来最费时间:ping 小包正常、传大文件慢,很容易被误判成带宽不足。
七、NCCL 跑不快,往往是四个环境变量没设
硬件到位后,最常见的现象是「带宽测起来正常,但训练还是慢」。原因通常是 NCCL 选错了网卡或走了错误的路径。
第一个:NCCL_SOCKET_IFNAME。机器有多张网卡时(计算网、存储网、管理网、业务网),NCCL 默认可能选中管理网。结果就是训练流量挤在千兆网上跑,性能差几十倍。这个变量要明确指定计算网卡,如 NCCL_SOCKET_IFNAME=ib0 或 =eth2。
第二个:NCCL_IB_HCA。一台机器插了 8 张 IB 网卡(一卡一口)时,不指定会让 NCCL 自己猜。指定成 =mlx5_0,mlx5_1,... 或按前缀 =mlx5 更稳妥。猜测失败的表现是通信只用了 1~2 张卡,带宽只有标称的 1/4。
第三个:NCCL_IB_GID_INDEX。RoCE v2 场景必须设为 3(RoCEv2 的 GID 索引),否则会退化成 RoCE v1 或直接失败。这是 RoCE 组网最常踩的坑,报错信息还不直观。
第四个:NCCL_ALGO 与 NCCL_PROTO。小规模(8 卡内)用 Ring + LL128 通常最优,大规模(32 卡以上)可以试 Tree 算法。这两项不必一开始就调,等带宽测通、任务跑起来后,用 NCCL tests 的 bus bandwidth 对比几组配置即可,差异通常在 5%~15%。
验证方式很简单:跑一次 NCCL tests 的 all_reduce_perf,看输出的 bus bandwidth。8 卡单机的 NVLink 场景应在 200GB/s 以上,跨机 200G IB 应在 20GB/s 以上。如果只有个位数,先查上面四个变量,再查 MTU 与 PFC,最后才怀疑硬件。
八、托管侧要配合的四件事
组网方案定完,落地要靠机房配合。以下四项必须在签约前确认,事后补做往往要移机。
| 项目 | 具体要求 | 为什么重要 |
|---|---|---|
| 相邻机位 | 多台机器尽量同柜或相邻柜 | 跨柜光纤跳线距离短、时延低、布线成本低 |
| 独立 VLAN | 计算网 / 存储网 / 管理网三个 VLAN | 流量隔离,避免互相挤占与安全暴露 |
| 交换机位与电力 | 柜内预留 1~2U 与独立电源 | Leaf 交换机通常放在客户机柜内 |
| 跨柜走线 | 柜间光纤跳线通道与长度 | 跨柜距离超过 100m 要换光模块类型 |
第 4 项容易被忽略。多模光纤(OM4)在 400G 下传输距离约 100m,单模可以到几公里。如果集群分散在不同机柜区,跳线长度可能超过多模极限,需要换单模模块——这是采购清单上的一个额外成本项,也是施工时的返工点。所以规划时最好把集群的物理位置画出来:几台机器在哪几个柜、交换机放哪个柜、跳线怎么走。
还有一个实践建议:先做 2 机 16 卡的验证。用小规模把 IB/RoCE 的连通性、带宽(ib_write_bw 或 perftest)、集合通信性能(NCCL tests)跑通,再批量上量。这一步通常半天就能完成,但能提前发现 90% 的配置问题——包括线序、子网管理器、MTU、PFC 配置。
最后回到那个除法。组网方案好不好,不由「用了 400G」决定,由「通信时间占步时的比例」决定。同一个 32 卡集群,200G IB 与 400G RoCE 的差距可能小于 15%,而 3:1 收敛与 1:1 的差距可能超过 40%。把钱花在收敛比上,比花在单端口速率上更有效——这是多机训练组网最反直觉、也最值钱的一条经验。