一、第一步:算显存,这决定「能不能跑」

显存是硬约束,算不清就只能靠试。推理与训练要算的东西不一样,分开讲。

推理场景:权重 + KV Cache。权重部分好算:参数量 × 每参数字节数。FP16 是 2 字节,7B 模型约 14GB;INT8 量化后 7GB,INT4 约 3.5GB。KV Cache 部分常被低估,它的公式是「2 × 层数 × 注意力头数 × head_dim × 序列长度 × 并发数 × 字节数」。以公开结构的 70B 级模型为例(80 层、64 头、head_dim 128),单 token 的 KV 约 2.6MB,4K 上下文单请求就是约 10.7GB。这就是为什么「模型只有 140GB,却要用 8 张 80G 卡」——显存要留给 KV Cache,不是只装权重。

训练场景:权重 + 梯度 + 优化器状态 + 激活。用 Adam 做全参数微调时,每个参数要存四份东西:FP16 权重 2 字节、FP16 梯度 2 字节、FP32 主权重 4 字节、Adam 的 m 与 v 各 4 字节,合计 16 字节/参数。7B 模型就是 112GB,还没算激活值。所以全参数微调 7B 至少要 4 张 80G 卡(320GB)才宽裕,而 LoRA 微调只更新少量参数,优化器状态可以忽略,2 张 80G 卡就够。

不同任务类型的显存构成(按 7B 参数模型估算,实际随框架与并行策略变化)
任务类型显存构成每参数字节7B 合计建议卡数
FP16 推理(短上下文)权重 + 少量 KV约 2~314~21GB1 张 24G 起
FP16 推理(长上下文/高并发)权重 + 大 KV Cache4~628~42GB1~2 张 48G
LoRA 微调权重 + 梯度(部分)+ 激活约 6~842~56GB2 张 48G 起
全参数微调(Adam)权重 + 梯度 + 优化器 + 激活约 16~20112~140GB4 张 80G 起

这张表只是起点。真正落地时还要乘以「并行策略系数」——数据并行每卡存全量参数,张量并行把参数切片,流水线并行按层切。同样 7B 全参数微调,8 卡张量并行可以让每卡只存 1/8 的权重与优化器状态,但通信开销会上升。这个权衡在第四步讲。

加卡之前,先试三件省钱的事。显存不够时,直觉是加卡,但实际上有三项优化往往能省下一半的卡钱。

一是权重量化。FP16 换成 INT8,权重显存直接减半,7B 模型从 14GB 降到 7GB;INT4 再减半到 3.5GB。精度损失取决于量化方法,主流量化方案在多数任务上的效果损失可以控制在 1~3 个百分点内。代价是需要量化后的模型文件,且部分算子在低精度下不一定有加速。

二是 KV Cache 优化。推理场景的显存大头常常是 KV Cache 而不是权重。三种手段:用 GQA/MQA 结构的模型(注意力头共享,KV 直接降数倍)、用分页式管理(如 vLLM 的 PagedAttention,把 KV 按块管理,碎片率从 60% 以上降到个位数)、开前缀缓存(相同 system prompt 只算一次)。三项叠加,同样显存能支撑的并发数可以翻几倍。

三是并行策略选择。数据并行每卡存全量参数,显存不省;张量并行把每层权重切片,显存按卡数均分,但通信频繁,通常只能限制在单机 8 卡内;流水线并行按层切分,通信少但有空泡。全参数微调 7B 时,8 卡张量并行能把每卡显存需求从 112GB 压到 14GB 左右,这是「小卡也能微调大模型」的技术基础。

顺序建议:先量化(省一半显存、零额外成本)→ 再优化 KV(推理场景收益最大)→ 最后才考虑加卡或换更大显存的卡型。跳过前两步直接加卡,是最贵的一条路。

二、第二步:定卡型,四类定位

显存需求算出来,卡型基本就锁定了。市面上的卡按定位可以分四类,选择依据是「显存容量 + 互联形态 + 生态成熟度」。

四类卡型的定位与适用(显存为厂商公开规格,具体型号以交付清单为准)
类别代表规格互联形态适合任务托管功率
消费级 / 推理卡24GB 级PCIe,无 NVLink小模型推理、图形渲染、单机微调单卡 300~450W
专业推理卡32~48GB 级PCIe中等模型推理、视频生成、多卡并行推理单卡 300~400W
训练卡(PCIe 形态)80GB 级PCIe + 可选桥接中小规模训练、单机多卡微调单卡 300~400W
训练卡(SXM 形态)80GB 级NVLink 全互联大模型训练、张量并行单卡 700W 级

选择的关键不是「哪张卡强」,而是「任务匹配哪一类」。三个判断句可以覆盖多数场景:只做推理、模型在 32B 以内——专业推理卡足够,没必要上训练卡;要全参数微调 7B 以上——需要 80GB 级显存,PCIe 形态可以先跑;要训练 70B 级或做张量并行——必须 SXM 形态,NVLink 是硬需求。

还有一个现实约束:供货。部分高端型号受出口管制影响,交期与可获得性不稳定,这也是国产算力卡近两年被大量采用的原因之一。选型时把「能否稳定拿到货」作为一项评估维度,比只看参数务实——买不到的最强卡,等于没有。

二手卡要单独评估。预算紧张时二手是选项,但风险集中在三处:显存颗粒老化(表现为高负载下 ECC 报错)、风扇与散热器磨损(表现为满载温度偏高、易降频)、无原厂保修(坏了只能自己修)。托管场景下二手卡的故障率通常是全新的数倍,所以要么买够备件,要么在合同里约定代维包含换卡。如果决定买二手,至少要求卖家提供 72 小时满载烤机记录与 3 个月质保,并在到货后自己再跑一遍 gpu-burn 验证。

国产卡的适配成本要算进去:国产算力卡在显存容量与性价比上有优势,但软件栈适配需要额外投入——CUDA 生态的算子、框架、推理引擎要换到对应生态(如 torch_musa、vLLM 的国产后端)。如果团队已有成熟的 CUDA 工程,迁移成本可能抵消硬件价差。建议先用小规模验证目标模型能否跑通,再决定批量采购。

三、第三步:定机柜,按功率选形态

卡型定了,功率就定了——而功率决定托管形态。这一步经常被跳过,结果是「卡买了,机房装不下」。

三档托管形态与适用规模(功率为整机满载估算,实际以铭牌与实测为准)
形态典型配置功率范围散热要求适合谁
高密单机位1 台 8 卡整机4~6kW高密机位,前后风道畅通单机推理、入门微调
整柜(高密)2~4 台 8 卡整机8~25kW高密柜,8~15kW 设计,可能需液冷中型训练、推理集群
多柜集群4 台以上 + IB 交换机30kW 以上高密区集中部署,独立配电大模型分布式训练

三档的边界不是硬性的,但有两个实用判断:一台 8 卡整机(4~6kW),多数机房的高密机位能承接,按机位付费最灵活;两台以上,功率到 8~12kW,普通机位申请不到,直接进高密柜;四台以上,功率 25kW 以上,必须提前订高密区,且要确认制冷方式(风冷还是液冷)。

还有一个物理细节:GPU 整机机身长、重量大(单台 40~60kg)。深 1200mm 的机柜才装得下部分型号,导轨也要匹配。这些信息在采购设备时就该拿到,而不是等上架当天量柜子。

四、第四步:自购托管、整机租用,还是按需租

卡型与机柜定了,最后一个决策是「资产归谁」。三种模式的分界点很清晰。

自购 + 托管:适合长期稳定负载。设备归自己,数据物理可控,三年以上的持有成本最低。代价是首次投入大、硬件迭代风险自担(三年后卡性能落后,残值低),且故障时要自己处理备件。

整机租用:适合中期项目。按月付费,不用管采购与保修,硬件故障由供应方换件。适合 6 个月到 2 年的项目,或不想占用现金流。单价高于自购折算,但省掉了运维与折旧风险。

按需租用(按小时):适合峰值与试验。只在跑任务时付费,适合模型试验、阶段性训练、突发推理峰值。单位成本最高,但利用率低时总成本最低。

三种模式的决策要点
维度自购 + 托管整机租用按需租用
首次投入高(设备款)无无
月度成本机位 + 电 + 带宽一口价月租按小时计
数据控制硬盘在自己手上需约定数据清除需约定数据清除
硬件迭代自担残值损失可换机型随时换
适合周期2 年以上6 个月~2 年试验 / 峰值
利用率要求高(低利用率不划算)中无

多数团队的最终形态是混合:核心训练集群自购托管,峰值任务与试验用按需租用。这个组合的逻辑是——固定负载用固定成本覆盖,波动负载用弹性成本覆盖,两边都不浪费。

五、一个例子:4 机 32 卡集群的完整选型

把四步串起来看一遍。假设需求是「微调 70B 级模型,数据在本地不能出机房」。

显存:70B 全参数微调按 16 字节/参数算约 1.1TB,单机 8×80G=640GB 不够,需要至少 2 机 16 卡(1.28TB)才能勉强放下,考虑激活值建议 4 机 32 卡(2.56TB),每卡分担约 34GB 权重与优化器状态。

卡型:需要张量并行 + 流水线并行混合,机内必须 NVLink,选 SXM 形态 80GB 训练卡。8 卡一组,4 台机器组成 32 卡集群。

机柜:单台满载 6~8kW,4 台 25~32kW。需要 2 个高密柜(每柜 2 台),或 1 个超高密柜配液冷。按风冷高密柜 15kW/柜的上限,2 柜是稳妥选择,且两柜要相邻以便 IB 布线。

组网:32 卡集群建议 1:1 无收敛的叶脊,机间 200G 或 400G IB。每台机器 8 个 IB 口(一卡一口),4 台共 32 口,一台 32 口 Leaf 交换机即可,上行接 Spine 或直接做单层。存储网单独走 100G 以太网,管理网千兆。

功率与电力:按峰值 32kW 加 25% 冗余报 40kW,两个柜各 20kW——这已超过多数机房的单柜限额(我们节点参数里单柜最大 12kW),所以要么改成 4 柜(每柜 1 台,10kW/柜),要么订液冷高密区。这个结论是在选型阶段就能算出来的,不用等设备到货。

模式:数据不出机房 + 长期使用,选自购托管;若项目周期在 1 年内,改整机租用更划算。

六、上线前的 8 项检查

设备进了机房,从「通电」到「能跑训练」还有一段。以下 8 项逐条过一遍,能避免 90% 的「装好了但跑不起来」。

算力托管上线前 8 项检查
#项目合格标准
1驱动与 CUDAnvidia-smi 正常识别全部卡,驱动版本与框架要求匹配
2卡间互联nvidia-smi topo -m 显示 NVLink 或 PCIe 拓扑符合预期
3机间网络IB/RoCE 端口 link up,带宽测试达标称 80% 以上
4集合通信NCCL tests 全卡跑通,bus bandwidth 接近硬件上限
5存储挂载数据集路径可读,写入带宽满足 checkpoint 需求
6温度与功耗满载 30 分钟,GPU 温度稳定不触发降频,机柜功率不超额度
7带外管理IPMI 可远程登录,能看传感器与硬件日志
8监控告警GPU 温度/功耗/利用率已接入,阈值告警可触达值班人

第 6 项建议做满 30 分钟而不是跑 5 分钟就结束。热量积累有延迟,很多降频问题在 15 分钟后才出现——尤其是机柜内多台机器同时满载时,进风温度会缓慢上升,最终越过阈值。这也是为什么「验收当天空载测试通过」不能作为交付依据。

选型的最后一句话:不要追求「最强配置」,追求「跑得动自己模型的最小配置」。多花的每一分钱在 GPU 上,回报都是递减的;而少算的每一项显存、功率、带宽,代价都是返工。