一、先看哪五个数,以及每个数管什么
显卡页面上有十几个参数,真正影响租用决策的只有五个。其余要么是营销指标(如稀疏算力),要么对本场景无影响(如显示输出接口)。
| 指标 | 单位与量级 | 管什么 | 常见误读 |
|---|---|---|---|
| 显存容量 | 16~80GB/卡 | 能不能装下模型与 KV Cache | 只看权重,忽略 KV 与激活 |
| 显存带宽 | 320GB/s~3.35TB/s | 推理生成速度、训练数据吞吐 | 用算力(TFLOPS)代替带宽做判断 |
| 算力(FP16/BF16) | 65~989 TFLOPS | 训练迭代速度、大 batch 推理 | 读成带稀疏的峰值,虚高 2 倍 |
| 互联带宽 | PCIe 64GB/s / NVLink 300~900GB/s | 多卡并行的效率上限 | 以为「都是 8 卡」就一样快 |
| 整机功率 | 0.8~10kW | 电费、机柜形态、散热方式 | 按单卡 TDP 乘 8,漏算 CPU 与风扇 |
显存带宽这一项最容易被跳过,但它是推理速度的硬上限。大模型推理分两个阶段:prefill 处理输入(计算密集,看算力),decode 逐 token 生成(访存密集,看带宽)。decode 阶段每生成 1 个 token,都要把全部权重从显存读一遍。所以单请求的理论速度上限就是「显存带宽 ÷ 权重体积」。
按 7B 模型 FP16(权重 14GB)算一遍,能直观看出差距:
| 卡型 | 显存带宽 | 读一遍权重耗时 | 理论 token/s | 实测参考 |
|---|---|---|---|---|
| H100 80GB SXM5 | 约 3.35TB/s | 4.2ms | 约 239 | 120~170 |
| A100 80GB SXM4 | 约 2.0TB/s | 7.0ms | 约 146 | 75~105 |
| L40S 48GB | 约 864GB/s | 16.2ms | 约 62 | 35~48 |
| RTX 4090 24GB | 约 1.0TB/s | 13.9ms | 约 72 | 40~55 |
| V100 32GB SXM2 | 约 900GB/s | 15.6ms | 约 64 | 30~45 |
| T4 16GB | 约 320GB/s | 43.8ms | 约 23 | 12~18 |
这张表解释了一个常见困惑:为什么 4090 的理论速度能接近 L40S,价格却只要一半。原因是 decode 阶段几乎不吃算力,只吃带宽,而 4090 的 GDDR6X 带宽(约 1.0TB/s)确实高于 L40S 的 GDDR6(864GB/s)。但 4090 只有 24GB 显存,装不下 14B 以上的模型,也无法用 NVLink 做张量并行——它的优势区间被严格限制在「单机、24GB 以内、推理或小规模微调」。
二、SXM / OAM 与 PCIe:差的不是接口,是机内互联
同一颗 GPU 芯片,做成 SXM 模组和做成 PCIe 插卡,单卡算力接近,整机表现可能差一倍以上。差别在卡与卡之间怎么通信。
| 形态 | 互联技术 | 卡间带宽 | 典型机型 | 可支持的并行方式 |
|---|---|---|---|---|
| SXM5 / OAM | NVLink 4 | 约 900GB/s | H100 80G、MTT S5000 | 张量并行 + 流水线并行 |
| SXM(受限版) | NVLink 4 降规 | 约 400GB/s | H800、A800 | 张量并行(8 卡内效率下降约 15%~25%) |
| SXM4 / SXM2 | NVLink 3 / 2 | 600GB/s / 300GB/s | A100、V100 | 张量并行(V100 建议 4 卡内) |
| PCIe 4.0 x16 | 无 NVLink | 约 64GB/s | L40S、4090、4090D、3090、T4 | 仅数据并行 / 流水线并行 |
差距有多大?PCIe 4.0 x16 的双向带宽是 64GB/s,H100 的 NVLink 是 900GB/s,相差 14 倍。张量并行每处理一层都要做一次全归约(all-reduce),通信量与激活值同量级。以 70B 级模型(80 层、隐藏维度 8192)、单条 4K 序列、FP16 粗算:每层激活约 67MB,一次全归约传两遍即 134MB,80 层累计约 10.7GB。走 NVLink 900GB/s 约 12ms,走 PCIe 64GB/s 约 167ms——差了 155ms,而一层的前向计算本身可能只要几十毫秒。这就是「PCIe 机型做张量并行,加速比上不去」的算术原因。
数据并行不受这个约束。数据并行只在每步结束时同步梯度,通信频次低,PCIe 也能跑。所以判断句很清楚:只做数据并行(每卡跑完整模型、切分数据)——PCIe 机型够用,4090、L40S 都能干;要做张量并行(把单层切开放在多卡上)——必须 NVLink,且带宽越高越好,H100/H800 是唯一选择。
还有一个物理层面的差别常被忽略:SXM 整机是 8 卡一体式基板,卡与卡之间没有插槽损耗,散热是整机风道设计,功率可以做到 700W/卡;PCIe 插卡受插槽供电与机箱风道限制,通常 350~450W/卡。所以同样 8 卡,SXM 整机功率 8~10kW,PCIe 整机 5~7kW,机柜选型也随之不同。
三、13 款在租机型横评
下表全部取自本站机型页的挂牌参数与月租价,按元/卡时排序。元/卡时 = 月租 ÷(卡数 × 720 小时),用于横向比较单位算力成本;元/GB 月 = 月租 ÷ 整机显存容量,用于比较单位显存成本。
| 机型 | 单卡显存 | 卡数 | 内存 / 内网 | 整机功率 | 月租 | 元/卡时 | 元/GB 月 |
|---|---|---|---|---|---|---|---|
| H100 80G SXM5 | 80GB HBM3 | 8 | 1TB / 100G IB | 8~10kW | ¥38,000 | 6.60 | 59.4 |
| H800 80G SXM | 80GB HBM3 | 8 | 1TB / 100G IB | 7~9kW | ¥32,000 | 5.56 | 50.0 |
| A100 80G SXM4 | 80GB HBM2e | 8 | 1TB / 100G IB | 6~8kW | ¥26,000 | 4.51 | 40.6 |
| A800 80G SXM | 80GB HBM2e | 8 | 1TB / 100G IB | 6~8kW | ¥22,000 | 3.82 | 34.4 |
| L40S 48GB | 48GB GDDR6 | 8 | 512GB / 25G | 5~7kW | ¥12,000 | 2.08 | 31.3 |
| RTX 4090 24GB | 24GB GDDR6X | 8 | 256GB / 25G | 4~6kW | ¥6,800 | 1.18 | 35.4 |
| RTX 4090D 24GB | 24GB GDDR6X | 8 | 256GB / 25G | 4~5.5kW | ¥6,200 | 1.08 | 32.3 |
| RTX 3090 24GB | 24GB GDDR6X | 8 | 256GB / 10G | 3.5~5kW | ¥3,800 | 0.66 | 19.8 |
| V100 32GB SXM2 | 32GB HBM2 | 8 | 512GB / 10G | 3~4.5kW | ¥3,200 | 0.56 | 12.5 |
| MTT S5000 80GB OAM | 80GB | 8 | 1TB / 400G × 9 | 询价 | 询价 | — | — |
| T4 16GB | 16GB GDDR6 | 4 | 128GB / 1G | 0.8~1.5kW | ¥1,200 | 0.42 | 18.8 |
| CPU 计算型(EPYC 9654) | — | 128 核 | 512GB DDR5 / 25G | 1.5~2.5kW | ¥1,800 | — | — |
| 大内存型(Xeon 6348) | — | 56 核 | 1TB DDR4 / 25G | 1.5~2.5kW | ¥2,600 | — | — |
表里有几个反直觉的结论,值得单独说:
① 元/GB 显存最便宜的不是老卡里最弱的,而是最老的 V100。V100 每 GB 显存月租只要 ¥12.5,是 H100 的五分之一。但它的显存带宽只有约 900GB/s,FP16 算力约为 H100 的八分之一,且只支持 PCIe 4.0 之前的总线与 300GB/s 的 NVLink 2。便宜的前提是「任务能接受这个速度」,比如老模型复现、教学实验、批量离线推理。
② H800 比 H100 便宜 16%,省下的钱买的是「互联降规」。H800 与 H100 同为 80GB HBM3、算力接近,差异集中在 NVLink 带宽(约 400GB/s 对 900GB/s)与 FP64 能力。8 卡内做张量并行、模型在 70B 以内时,两者差距能通过增大 batch 与梯度累积部分抹平;但要做 32 卡以上的大规模训练,H800 的跨机占比更高,通信瓶颈会更明显。
③ 4090 与 4090D 只差 ¥600,差异在合规与功耗。4090D 是为合规做的降规版本,算力略低、整机功率低约 0.5kW。对推理任务来说,这点差距几乎感知不到;对按功率计费的托管场景,D 版反而更省电费。选哪个主要看供货与合规要求,不是看跑分。
④ 3090 与 V100 的元/卡时都在 0.6 元附近,但适用面完全不同。3090 是 GDDR6X、无 NVLink 桥(早期桥接仅支持 2 卡)、单卡 24GB,适合单机推理与小模型微调;V100 是 HBM2、SXM2 模组带 300GB/s NVLink、单卡 32GB,适合 4 卡内的老式训练任务。两者都不能跨机训练——内网只有 10G,跨机 all-reduce 会成为瓶颈。
⑤ 标称显存不等于可用显存。80GB 的卡在 nvidia-smi 里通常显示 81559MiB(约 79.6GB),驱动、ECC 与保留区会占掉一部分;每个进程启动 CUDA 上下文还要再占 300~600MB。8 卡整机、8 个进程各占一张卡时,实际可分配给模型的显存约是 8 × 79GB 再减 3~5GB。做显存规划时按「标称 × 0.97」估,比按标称算更接近真实可用量。
四、六种典型需求对应的机型
把需求翻译成机型,比研究参数表快得多。以下六种覆盖了租用场景的绝大多数。
| 需求 | 关键约束 | 推荐机型 | 理由 |
|---|---|---|---|
| 7B~14B 模型 API 推理 | 24GB 显存、高并发 | 4090D / 4090 / L40S | 单卡装得下,decode 速度由带宽决定,4090 系列性价比最高 |
| 32B~70B 模型推理 | 需 2~8 卡切分 | L40S 8 卡 / A800 8 卡 | L40S 靠容量堆,A800 靠带宽与 NVLink,长上下文优先 A800 |
| 7B~13B LoRA 微调 | 48GB 以上、可数据并行 | L40S 8 卡 / 4090 8 卡 | LoRA 优化器状态小,PCIe 数据并行足够 |
| 7B~13B 全参数微调 | 每卡 80GB、需张量并行 | A800 / A100 8 卡 | 全参微调每参数约 16 字节,7B 需 112GB 以上,必须切分 |
| 70B 级预训练 / 继续预训练 | 多机、100G 以上互联 | H100 / H800 多机 | 梯度同步量按参数量线性增长,只有 IB + NVLink 能撑住 |
| 视频生成 / 3D 渲染 | 显存 + 光追单元 | L40S / 4090 | L40S 有专业驱动与更大显存,4090 单卡性价比高 |
国产化需求单独说。本站已上架的摩尔线程 MTT S5000 80GB OAM × 8 整机,部署在宁夏中卫节点,双路 Xeon Gold 6530、1TB DDR5 6400、16TB NVMe、9 张 400G OSFP 网卡,属于现货整机。它的定位是「有国产化要求、且软件栈可以适配」的训练与推理场景。选它之前要确认三件事:目标模型与框架是否有对应后端(PyTorch 生态需 torch_musa 或厂商适配版)、常用算子是否覆盖(自定义 CUDA 算子要重写)、推理引擎是否支持(vLLM 等需对应分支)。三项都通,性价比很高;有一项不通,迁移成本可能超过硬件价差。
五、四个容易踩的坑
坑一:按单卡 TDP 乘卡数估功率。H100 单卡 TDP 700W,8 卡是 5.6kW,但整机实测常在 8~10kW——差的部分是双路 CPU(约 700W)、内存与硬盘(约 200W)、8 个高速风扇(约 300W)以及电源转换损耗(按 96% 效率折算多出约 4%)。按 5.6kW 报机柜,上架后必然超限。正确做法是看整机铭牌功率,或按「卡合计 ÷ 0.85」估算。
坑二:把 4090 当训练卡用。4090 没有 NVLink(早期桥接仅支持 2 卡且带宽有限),做张量并行只能走 PCIe,效率损失大;且消费级卡在长时间满载下的稳定性不如专业卡,风扇与供电设计按游戏负载优化,7×24 满载训练容易出现降频甚至花屏。短周期微调可以,长周期预训练不建议。
坑三:忽略 CPU 与内存配比。8 卡机如果只配 256GB 内存,数据加载会成为瓶颈——尤其是图像、视频、多模态训练,预处理在 CPU 侧,内存不足会导致 GPU 等数据。经验配比是「每卡 64GB 内存起步」,8 卡配 512GB 是下限,1TB 更稳。本站 H100/H800/A100/A800 机型均配 1TB,4090/4090D 配 256GB,选型时要看这个数。
坑四:没看内网带宽就下单。跨机训练靠内网,10G 内网的理论带宽是 1.25GB/s,100G IB 是 12.5GB/s,差 10 倍。7B 模型 8 卡做一次全归约要传约 24.5GB(按 ring 算法 1.75 倍系数),10G 内网要 19.6 秒,100G IB 要 2 秒——每步差 17 秒,一个 epoch 上千步就是几小时的差距。T4、3090、V100 三款机型的内网是 10G 或 1G,只适合单机任务。
六、到货验收:四项实测
参数是标称,验收要看实测。租用整机交付当天,建议做这四项,全部留记录:
① 满载稳定性(30 分钟)。跑 gpu-burn 或 stress-ng 让 8 卡同时满载,观察是否出现降频、ECC 报错、掉卡。正常表现是功耗贴近 TDP、温度稳定在 70~80℃、时钟频率波动小于 10%。有卡掉到 60% 频率,说明散热或供电有问题。
② 显存完整性。用 nvidia-smi -q 看 ECC 错误计数(Volatile 与 Aggregate 都应接近 0),再用 cuda-memtest 或框架自带的显存测试跑一轮。翻新卡的显存颗粒问题往往在高负载几小时后才暴露。
③ 机内互联带宽。跑 nccl-tests 的 all_reduce_perf,8 卡单机场景下:H100 应在 200GB/s 以上(bus bandwidth),A100/A800 在 120GB/s 以上,PCIe 机型在 20GB/s 以上。低于这个量级,先查 NVLink 是否被禁用(nvidia-smi nvlink -s),再查拓扑(nvidia-smi topo -m)。
④ 内网与公网。用 iperf3 测内网实际吞吐,100G IB 应达到 90Gbps 以上,10G 应达到 9Gbps 以上;公网按合同带宽测上下行。内网不达标会直接影响后续多机扩展,必须在上架阶段解决。
四项之外还有一项软性检查:确认固件与驱动版本,并把版本号写进确认单。同一型号不同批次的整机,VBIOS、NVSwitch 固件、驱动版本可能不同,混部多机训练时会出现「部分机器能跑、部分报错」的怪现象。交付时统一版本,后续扩租时要求同版本,能省掉很多排查时间。
七、把选型写成一句话
如果只记一句:先按模型算显存,按显存定卡数,按卡数定互联,按互联定机型,最后按功率定机柜。五步里任何一步跳过,都会在后面某个环节返工——显存算少了要换卡,互联选错了加速比上不去,功率算错了装不进机柜。
落到本站的 13 款机型上,多数需求会收敛到三个答案:预算优先的推理与小规模微调选 4090D 8 卡(¥6,200/月);需要 80GB 显存且要做张量并行选 A800 8 卡(¥22,000/月);大规模训练或对互联有硬要求选 H100 8 卡(¥38,000/月)。其余机型用于特定场景——T4 做轻量推理、V100 做老模型复现、L40S 做视频与渲染、CPU 与大内存型做非 GPU 负载、S5000 做国产化替代。