一、先看哪五个数,以及每个数管什么

显卡页面上有十几个参数,真正影响租用决策的只有五个。其余要么是营销指标(如稀疏算力),要么对本场景无影响(如显示输出接口)。

五个必读指标及其对实际任务的影响
指标单位与量级管什么常见误读
显存容量16~80GB/卡能不能装下模型与 KV Cache只看权重,忽略 KV 与激活
显存带宽320GB/s~3.35TB/s推理生成速度、训练数据吞吐用算力(TFLOPS)代替带宽做判断
算力(FP16/BF16)65~989 TFLOPS训练迭代速度、大 batch 推理读成带稀疏的峰值,虚高 2 倍
互联带宽PCIe 64GB/s / NVLink 300~900GB/s多卡并行的效率上限以为「都是 8 卡」就一样快
整机功率0.8~10kW电费、机柜形态、散热方式按单卡 TDP 乘 8,漏算 CPU 与风扇

显存带宽这一项最容易被跳过,但它是推理速度的硬上限。大模型推理分两个阶段:prefill 处理输入(计算密集,看算力),decode 逐 token 生成(访存密集,看带宽)。decode 阶段每生成 1 个 token,都要把全部权重从显存读一遍。所以单请求的理论速度上限就是「显存带宽 ÷ 权重体积」。

按 7B 模型 FP16(权重 14GB)算一遍,能直观看出差距:

7B 模型 FP16 单请求 decode 速度上限(理论值 = 显存带宽 ÷ 14GB,实际通常为理论的 50%~70%)
卡型显存带宽读一遍权重耗时理论 token/s实测参考
H100 80GB SXM5约 3.35TB/s4.2ms约 239120~170
A100 80GB SXM4约 2.0TB/s7.0ms约 14675~105
L40S 48GB约 864GB/s16.2ms约 6235~48
RTX 4090 24GB约 1.0TB/s13.9ms约 7240~55
V100 32GB SXM2约 900GB/s15.6ms约 6430~45
T4 16GB约 320GB/s43.8ms约 2312~18

这张表解释了一个常见困惑:为什么 4090 的理论速度能接近 L40S,价格却只要一半。原因是 decode 阶段几乎不吃算力,只吃带宽,而 4090 的 GDDR6X 带宽(约 1.0TB/s)确实高于 L40S 的 GDDR6(864GB/s)。但 4090 只有 24GB 显存,装不下 14B 以上的模型,也无法用 NVLink 做张量并行——它的优势区间被严格限制在「单机、24GB 以内、推理或小规模微调」。

一个容易搞反的比值:把「显存带宽 ÷ FP16 算力」算出来,得到每 TFLOPS 对应多少带宽。H100 约 3.4 GB/s per TFLOPS,4090 约 3.1,L40S 约 2.4,而 V100 高达 7.2。比值高的卡(如 V100)在带宽受限任务上不吃亏,比值低的卡(如 L40S)更偏计算密集场景。这个比值不写进规格书,但能解释很多「跑分高、实际慢」的现象。

二、SXM / OAM 与 PCIe:差的不是接口,是机内互联

同一颗 GPU 芯片,做成 SXM 模组和做成 PCIe 插卡,单卡算力接近,整机表现可能差一倍以上。差别在卡与卡之间怎么通信。

机内互联形态对比(带宽为双向合计,取自厂商公开规格)
形态互联技术卡间带宽典型机型可支持的并行方式
SXM5 / OAMNVLink 4约 900GB/sH100 80G、MTT S5000张量并行 + 流水线并行
SXM(受限版)NVLink 4 降规约 400GB/sH800、A800张量并行(8 卡内效率下降约 15%~25%)
SXM4 / SXM2NVLink 3 / 2600GB/s / 300GB/sA100、V100张量并行(V100 建议 4 卡内)
PCIe 4.0 x16无 NVLink约 64GB/sL40S、4090、4090D、3090、T4仅数据并行 / 流水线并行

差距有多大?PCIe 4.0 x16 的双向带宽是 64GB/s,H100 的 NVLink 是 900GB/s,相差 14 倍。张量并行每处理一层都要做一次全归约(all-reduce),通信量与激活值同量级。以 70B 级模型(80 层、隐藏维度 8192)、单条 4K 序列、FP16 粗算:每层激活约 67MB,一次全归约传两遍即 134MB,80 层累计约 10.7GB。走 NVLink 900GB/s 约 12ms,走 PCIe 64GB/s 约 167ms——差了 155ms,而一层的前向计算本身可能只要几十毫秒。这就是「PCIe 机型做张量并行,加速比上不去」的算术原因。

数据并行不受这个约束。数据并行只在每步结束时同步梯度,通信频次低,PCIe 也能跑。所以判断句很清楚:只做数据并行(每卡跑完整模型、切分数据)——PCIe 机型够用,4090、L40S 都能干;要做张量并行(把单层切开放在多卡上)——必须 NVLink,且带宽越高越好,H100/H800 是唯一选择。

还有一个物理层面的差别常被忽略:SXM 整机是 8 卡一体式基板,卡与卡之间没有插槽损耗,散热是整机风道设计,功率可以做到 700W/卡;PCIe 插卡受插槽供电与机箱风道限制,通常 350~450W/卡。所以同样 8 卡,SXM 整机功率 8~10kW,PCIe 整机 5~7kW,机柜选型也随之不同。

三、13 款在租机型横评

下表全部取自本站机型页的挂牌参数与月租价,按元/卡时排序。元/卡时 = 月租 ÷(卡数 × 720 小时),用于横向比较单位算力成本;元/GB 月 = 月租 ÷ 整机显存容量,用于比较单位显存成本。

13 款在租整机的参数与单价(月租为挂牌参考价,长租与批量另议;S5000 按现货询价)
机型单卡显存卡数内存 / 内网整机功率月租元/卡时元/GB 月
H100 80G SXM580GB HBM381TB / 100G IB8~10kW¥38,0006.6059.4
H800 80G SXM80GB HBM381TB / 100G IB7~9kW¥32,0005.5650.0
A100 80G SXM480GB HBM2e81TB / 100G IB6~8kW¥26,0004.5140.6
A800 80G SXM80GB HBM2e81TB / 100G IB6~8kW¥22,0003.8234.4
L40S 48GB48GB GDDR68512GB / 25G5~7kW¥12,0002.0831.3
RTX 4090 24GB24GB GDDR6X8256GB / 25G4~6kW¥6,8001.1835.4
RTX 4090D 24GB24GB GDDR6X8256GB / 25G4~5.5kW¥6,2001.0832.3
RTX 3090 24GB24GB GDDR6X8256GB / 10G3.5~5kW¥3,8000.6619.8
V100 32GB SXM232GB HBM28512GB / 10G3~4.5kW¥3,2000.5612.5
MTT S5000 80GB OAM80GB81TB / 400G × 9询价询价——
T4 16GB16GB GDDR64128GB / 1G0.8~1.5kW¥1,2000.4218.8
CPU 计算型(EPYC 9654)—128 核512GB DDR5 / 25G1.5~2.5kW¥1,800——
大内存型(Xeon 6348)—56 核1TB DDR4 / 25G1.5~2.5kW¥2,600——

表里有几个反直觉的结论,值得单独说:

① 元/GB 显存最便宜的不是老卡里最弱的,而是最老的 V100。V100 每 GB 显存月租只要 ¥12.5,是 H100 的五分之一。但它的显存带宽只有约 900GB/s,FP16 算力约为 H100 的八分之一,且只支持 PCIe 4.0 之前的总线与 300GB/s 的 NVLink 2。便宜的前提是「任务能接受这个速度」,比如老模型复现、教学实验、批量离线推理。

② H800 比 H100 便宜 16%,省下的钱买的是「互联降规」。H800 与 H100 同为 80GB HBM3、算力接近,差异集中在 NVLink 带宽(约 400GB/s 对 900GB/s)与 FP64 能力。8 卡内做张量并行、模型在 70B 以内时,两者差距能通过增大 batch 与梯度累积部分抹平;但要做 32 卡以上的大规模训练,H800 的跨机占比更高,通信瓶颈会更明显。

③ 4090 与 4090D 只差 ¥600,差异在合规与功耗。4090D 是为合规做的降规版本,算力略低、整机功率低约 0.5kW。对推理任务来说,这点差距几乎感知不到;对按功率计费的托管场景,D 版反而更省电费。选哪个主要看供货与合规要求,不是看跑分。

④ 3090 与 V100 的元/卡时都在 0.6 元附近,但适用面完全不同。3090 是 GDDR6X、无 NVLink 桥(早期桥接仅支持 2 卡)、单卡 24GB,适合单机推理与小模型微调;V100 是 HBM2、SXM2 模组带 300GB/s NVLink、单卡 32GB,适合 4 卡内的老式训练任务。两者都不能跨机训练——内网只有 10G,跨机 all-reduce 会成为瓶颈。

⑤ 标称显存不等于可用显存。80GB 的卡在 nvidia-smi 里通常显示 81559MiB(约 79.6GB),驱动、ECC 与保留区会占掉一部分;每个进程启动 CUDA 上下文还要再占 300~600MB。8 卡整机、8 个进程各占一张卡时,实际可分配给模型的显存约是 8 × 79GB 再减 3~5GB。做显存规划时按「标称 × 0.97」估,比按标称算更接近真实可用量。

四、六种典型需求对应的机型

把需求翻译成机型,比研究参数表快得多。以下六种覆盖了租用场景的绝大多数。

需求 — 机型映射(卡数为建议下限,实际按并发与上下文长度上调)
需求关键约束推荐机型理由
7B~14B 模型 API 推理24GB 显存、高并发4090D / 4090 / L40S单卡装得下,decode 速度由带宽决定,4090 系列性价比最高
32B~70B 模型推理需 2~8 卡切分L40S 8 卡 / A800 8 卡L40S 靠容量堆,A800 靠带宽与 NVLink,长上下文优先 A800
7B~13B LoRA 微调48GB 以上、可数据并行L40S 8 卡 / 4090 8 卡LoRA 优化器状态小,PCIe 数据并行足够
7B~13B 全参数微调每卡 80GB、需张量并行A800 / A100 8 卡全参微调每参数约 16 字节,7B 需 112GB 以上,必须切分
70B 级预训练 / 继续预训练多机、100G 以上互联H100 / H800 多机梯度同步量按参数量线性增长,只有 IB + NVLink 能撑住
视频生成 / 3D 渲染显存 + 光追单元L40S / 4090L40S 有专业驱动与更大显存,4090 单卡性价比高

国产化需求单独说。本站已上架的摩尔线程 MTT S5000 80GB OAM × 8 整机,部署在宁夏中卫节点,双路 Xeon Gold 6530、1TB DDR5 6400、16TB NVMe、9 张 400G OSFP 网卡,属于现货整机。它的定位是「有国产化要求、且软件栈可以适配」的训练与推理场景。选它之前要确认三件事:目标模型与框架是否有对应后端(PyTorch 生态需 torch_musa 或厂商适配版)、常用算子是否覆盖(自定义 CUDA 算子要重写)、推理引擎是否支持(vLLM 等需对应分支)。三项都通,性价比很高;有一项不通,迁移成本可能超过硬件价差。

五、四个容易踩的坑

坑一:按单卡 TDP 乘卡数估功率。H100 单卡 TDP 700W,8 卡是 5.6kW,但整机实测常在 8~10kW——差的部分是双路 CPU(约 700W)、内存与硬盘(约 200W)、8 个高速风扇(约 300W)以及电源转换损耗(按 96% 效率折算多出约 4%)。按 5.6kW 报机柜,上架后必然超限。正确做法是看整机铭牌功率,或按「卡合计 ÷ 0.85」估算。

坑二:把 4090 当训练卡用。4090 没有 NVLink(早期桥接仅支持 2 卡且带宽有限),做张量并行只能走 PCIe,效率损失大;且消费级卡在长时间满载下的稳定性不如专业卡,风扇与供电设计按游戏负载优化,7×24 满载训练容易出现降频甚至花屏。短周期微调可以,长周期预训练不建议。

坑三:忽略 CPU 与内存配比。8 卡机如果只配 256GB 内存,数据加载会成为瓶颈——尤其是图像、视频、多模态训练,预处理在 CPU 侧,内存不足会导致 GPU 等数据。经验配比是「每卡 64GB 内存起步」,8 卡配 512GB 是下限,1TB 更稳。本站 H100/H800/A100/A800 机型均配 1TB,4090/4090D 配 256GB,选型时要看这个数。

坑四:没看内网带宽就下单。跨机训练靠内网,10G 内网的理论带宽是 1.25GB/s,100G IB 是 12.5GB/s,差 10 倍。7B 模型 8 卡做一次全归约要传约 24.5GB(按 ring 算法 1.75 倍系数),10G 内网要 19.6 秒,100G IB 要 2 秒——每步差 17 秒,一个 epoch 上千步就是几小时的差距。T4、3090、V100 三款机型的内网是 10G 或 1G,只适合单机任务。

六、到货验收:四项实测

参数是标称,验收要看实测。租用整机交付当天,建议做这四项,全部留记录:

① 满载稳定性(30 分钟)。跑 gpu-burn 或 stress-ng 让 8 卡同时满载,观察是否出现降频、ECC 报错、掉卡。正常表现是功耗贴近 TDP、温度稳定在 70~80℃、时钟频率波动小于 10%。有卡掉到 60% 频率,说明散热或供电有问题。

② 显存完整性。用 nvidia-smi -q 看 ECC 错误计数(Volatile 与 Aggregate 都应接近 0),再用 cuda-memtest 或框架自带的显存测试跑一轮。翻新卡的显存颗粒问题往往在高负载几小时后才暴露。

③ 机内互联带宽。跑 nccl-tests 的 all_reduce_perf,8 卡单机场景下:H100 应在 200GB/s 以上(bus bandwidth),A100/A800 在 120GB/s 以上,PCIe 机型在 20GB/s 以上。低于这个量级,先查 NVLink 是否被禁用(nvidia-smi nvlink -s),再查拓扑(nvidia-smi topo -m)。

④ 内网与公网。用 iperf3 测内网实际吞吐,100G IB 应达到 90Gbps 以上,10G 应达到 9Gbps 以上;公网按合同带宽测上下行。内网不达标会直接影响后续多机扩展,必须在上架阶段解决。

四项之外还有一项软性检查:确认固件与驱动版本,并把版本号写进确认单。同一型号不同批次的整机,VBIOS、NVSwitch 固件、驱动版本可能不同,混部多机训练时会出现「部分机器能跑、部分报错」的怪现象。交付时统一版本,后续扩租时要求同版本,能省掉很多排查时间。

验收记录要落到纸面:四项实测的截图、命令、时间、执行人,连同设备序列号与机位,一起写进交付确认单。后续出现性能争议时,这份记录是唯一能说清「交付时是什么状态」的依据。

七、把选型写成一句话

如果只记一句:先按模型算显存,按显存定卡数,按卡数定互联,按互联定机型,最后按功率定机柜。五步里任何一步跳过,都会在后面某个环节返工——显存算少了要换卡,互联选错了加速比上不去,功率算错了装不进机柜。

落到本站的 13 款机型上,多数需求会收敛到三个答案:预算优先的推理与小规模微调选 4090D 8 卡(¥6,200/月);需要 80GB 显存且要做张量并行选 A800 8 卡(¥22,000/月);大规模训练或对互联有硬要求选 H100 8 卡(¥38,000/月)。其余机型用于特定场景——T4 做轻量推理、V100 做老模型复现、L40S 做视频与渲染、CPU 与大内存型做非 GPU 负载、S5000 做国产化替代。