一、第一步:算显存,这决定「能不能跑」
显存是硬约束,算不清就只能靠试。推理与训练要算的东西不一样,分开讲。
推理场景:权重 + KV Cache。权重部分好算:参数量 × 每参数字节数。FP16 是 2 字节,7B 模型约 14GB;INT8 量化后 7GB,INT4 约 3.5GB。KV Cache 部分常被低估,它的公式是「2 × 层数 × 注意力头数 × head_dim × 序列长度 × 并发数 × 字节数」。以公开结构的 70B 级模型为例(80 层、64 头、head_dim 128),单 token 的 KV 约 2.6MB,4K 上下文单请求就是约 10.7GB。这就是为什么「模型只有 140GB,却要用 8 张 80G 卡」——显存要留给 KV Cache,不是只装权重。
训练场景:权重 + 梯度 + 优化器状态 + 激活。用 Adam 做全参数微调时,每个参数要存四份东西:FP16 权重 2 字节、FP16 梯度 2 字节、FP32 主权重 4 字节、Adam 的 m 与 v 各 4 字节,合计 16 字节/参数。7B 模型就是 112GB,还没算激活值。所以全参数微调 7B 至少要 4 张 80G 卡(320GB)才宽裕,而 LoRA 微调只更新少量参数,优化器状态可以忽略,2 张 80G 卡就够。
| 任务类型 | 显存构成 | 每参数字节 | 7B 合计 | 建议卡数 |
|---|---|---|---|---|
| FP16 推理(短上下文) | 权重 + 少量 KV | 约 2~3 | 14~21GB | 1 张 24G 起 |
| FP16 推理(长上下文/高并发) | 权重 + 大 KV Cache | 4~6 | 28~42GB | 1~2 张 48G |
| LoRA 微调 | 权重 + 梯度(部分)+ 激活 | 约 6~8 | 42~56GB | 2 张 48G 起 |
| 全参数微调(Adam) | 权重 + 梯度 + 优化器 + 激活 | 约 16~20 | 112~140GB | 4 张 80G 起 |
这张表只是起点。真正落地时还要乘以「并行策略系数」——数据并行每卡存全量参数,张量并行把参数切片,流水线并行按层切。同样 7B 全参数微调,8 卡张量并行可以让每卡只存 1/8 的权重与优化器状态,但通信开销会上升。这个权衡在第四步讲。
加卡之前,先试三件省钱的事。显存不够时,直觉是加卡,但实际上有三项优化往往能省下一半的卡钱。
一是权重量化。FP16 换成 INT8,权重显存直接减半,7B 模型从 14GB 降到 7GB;INT4 再减半到 3.5GB。精度损失取决于量化方法,主流量化方案在多数任务上的效果损失可以控制在 1~3 个百分点内。代价是需要量化后的模型文件,且部分算子在低精度下不一定有加速。
二是 KV Cache 优化。推理场景的显存大头常常是 KV Cache 而不是权重。三种手段:用 GQA/MQA 结构的模型(注意力头共享,KV 直接降数倍)、用分页式管理(如 vLLM 的 PagedAttention,把 KV 按块管理,碎片率从 60% 以上降到个位数)、开前缀缓存(相同 system prompt 只算一次)。三项叠加,同样显存能支撑的并发数可以翻几倍。
三是并行策略选择。数据并行每卡存全量参数,显存不省;张量并行把每层权重切片,显存按卡数均分,但通信频繁,通常只能限制在单机 8 卡内;流水线并行按层切分,通信少但有空泡。全参数微调 7B 时,8 卡张量并行能把每卡显存需求从 112GB 压到 14GB 左右,这是「小卡也能微调大模型」的技术基础。
顺序建议:先量化(省一半显存、零额外成本)→ 再优化 KV(推理场景收益最大)→ 最后才考虑加卡或换更大显存的卡型。跳过前两步直接加卡,是最贵的一条路。
二、第二步:定卡型,四类定位
显存需求算出来,卡型基本就锁定了。市面上的卡按定位可以分四类,选择依据是「显存容量 + 互联形态 + 生态成熟度」。
| 类别 | 代表规格 | 互联形态 | 适合任务 | 托管功率 |
|---|---|---|---|---|
| 消费级 / 推理卡 | 24GB 级 | PCIe,无 NVLink | 小模型推理、图形渲染、单机微调 | 单卡 300~450W |
| 专业推理卡 | 32~48GB 级 | PCIe | 中等模型推理、视频生成、多卡并行推理 | 单卡 300~400W |
| 训练卡(PCIe 形态) | 80GB 级 | PCIe + 可选桥接 | 中小规模训练、单机多卡微调 | 单卡 300~400W |
| 训练卡(SXM 形态) | 80GB 级 | NVLink 全互联 | 大模型训练、张量并行 | 单卡 700W 级 |
选择的关键不是「哪张卡强」,而是「任务匹配哪一类」。三个判断句可以覆盖多数场景:只做推理、模型在 32B 以内——专业推理卡足够,没必要上训练卡;要全参数微调 7B 以上——需要 80GB 级显存,PCIe 形态可以先跑;要训练 70B 级或做张量并行——必须 SXM 形态,NVLink 是硬需求。
还有一个现实约束:供货。部分高端型号受出口管制影响,交期与可获得性不稳定,这也是国产算力卡近两年被大量采用的原因之一。选型时把「能否稳定拿到货」作为一项评估维度,比只看参数务实——买不到的最强卡,等于没有。
二手卡要单独评估。预算紧张时二手是选项,但风险集中在三处:显存颗粒老化(表现为高负载下 ECC 报错)、风扇与散热器磨损(表现为满载温度偏高、易降频)、无原厂保修(坏了只能自己修)。托管场景下二手卡的故障率通常是全新的数倍,所以要么买够备件,要么在合同里约定代维包含换卡。如果决定买二手,至少要求卖家提供 72 小时满载烤机记录与 3 个月质保,并在到货后自己再跑一遍 gpu-burn 验证。
三、第三步:定机柜,按功率选形态
卡型定了,功率就定了——而功率决定托管形态。这一步经常被跳过,结果是「卡买了,机房装不下」。
| 形态 | 典型配置 | 功率范围 | 散热要求 | 适合谁 |
|---|---|---|---|---|
| 高密单机位 | 1 台 8 卡整机 | 4~6kW | 高密机位,前后风道畅通 | 单机推理、入门微调 |
| 整柜(高密) | 2~4 台 8 卡整机 | 8~25kW | 高密柜,8~15kW 设计,可能需液冷 | 中型训练、推理集群 |
| 多柜集群 | 4 台以上 + IB 交换机 | 30kW 以上 | 高密区集中部署,独立配电 | 大模型分布式训练 |
三档的边界不是硬性的,但有两个实用判断:一台 8 卡整机(4~6kW),多数机房的高密机位能承接,按机位付费最灵活;两台以上,功率到 8~12kW,普通机位申请不到,直接进高密柜;四台以上,功率 25kW 以上,必须提前订高密区,且要确认制冷方式(风冷还是液冷)。
还有一个物理细节:GPU 整机机身长、重量大(单台 40~60kg)。深 1200mm 的机柜才装得下部分型号,导轨也要匹配。这些信息在采购设备时就该拿到,而不是等上架当天量柜子。
四、第四步:自购托管、整机租用,还是按需租
卡型与机柜定了,最后一个决策是「资产归谁」。三种模式的分界点很清晰。
自购 + 托管:适合长期稳定负载。设备归自己,数据物理可控,三年以上的持有成本最低。代价是首次投入大、硬件迭代风险自担(三年后卡性能落后,残值低),且故障时要自己处理备件。
整机租用:适合中期项目。按月付费,不用管采购与保修,硬件故障由供应方换件。适合 6 个月到 2 年的项目,或不想占用现金流。单价高于自购折算,但省掉了运维与折旧风险。
按需租用(按小时):适合峰值与试验。只在跑任务时付费,适合模型试验、阶段性训练、突发推理峰值。单位成本最高,但利用率低时总成本最低。
| 维度 | 自购 + 托管 | 整机租用 | 按需租用 |
|---|---|---|---|
| 首次投入 | 高(设备款) | 无 | 无 |
| 月度成本 | 机位 + 电 + 带宽 | 一口价月租 | 按小时计 |
| 数据控制 | 硬盘在自己手上 | 需约定数据清除 | 需约定数据清除 |
| 硬件迭代 | 自担残值损失 | 可换机型 | 随时换 |
| 适合周期 | 2 年以上 | 6 个月~2 年 | 试验 / 峰值 |
| 利用率要求 | 高(低利用率不划算) | 中 | 无 |
多数团队的最终形态是混合:核心训练集群自购托管,峰值任务与试验用按需租用。这个组合的逻辑是——固定负载用固定成本覆盖,波动负载用弹性成本覆盖,两边都不浪费。
五、一个例子:4 机 32 卡集群的完整选型
把四步串起来看一遍。假设需求是「微调 70B 级模型,数据在本地不能出机房」。
显存:70B 全参数微调按 16 字节/参数算约 1.1TB,单机 8×80G=640GB 不够,需要至少 2 机 16 卡(1.28TB)才能勉强放下,考虑激活值建议 4 机 32 卡(2.56TB),每卡分担约 34GB 权重与优化器状态。
卡型:需要张量并行 + 流水线并行混合,机内必须 NVLink,选 SXM 形态 80GB 训练卡。8 卡一组,4 台机器组成 32 卡集群。
机柜:单台满载 6~8kW,4 台 25~32kW。需要 2 个高密柜(每柜 2 台),或 1 个超高密柜配液冷。按风冷高密柜 15kW/柜的上限,2 柜是稳妥选择,且两柜要相邻以便 IB 布线。
组网:32 卡集群建议 1:1 无收敛的叶脊,机间 200G 或 400G IB。每台机器 8 个 IB 口(一卡一口),4 台共 32 口,一台 32 口 Leaf 交换机即可,上行接 Spine 或直接做单层。存储网单独走 100G 以太网,管理网千兆。
功率与电力:按峰值 32kW 加 25% 冗余报 40kW,两个柜各 20kW——这已超过多数机房的单柜限额(我们节点参数里单柜最大 12kW),所以要么改成 4 柜(每柜 1 台,10kW/柜),要么订液冷高密区。这个结论是在选型阶段就能算出来的,不用等设备到货。
模式:数据不出机房 + 长期使用,选自购托管;若项目周期在 1 年内,改整机租用更划算。
六、上线前的 8 项检查
设备进了机房,从「通电」到「能跑训练」还有一段。以下 8 项逐条过一遍,能避免 90% 的「装好了但跑不起来」。
| # | 项目 | 合格标准 |
|---|---|---|
| 1 | 驱动与 CUDA | nvidia-smi 正常识别全部卡,驱动版本与框架要求匹配 |
| 2 | 卡间互联 | nvidia-smi topo -m 显示 NVLink 或 PCIe 拓扑符合预期 |
| 3 | 机间网络 | IB/RoCE 端口 link up,带宽测试达标称 80% 以上 |
| 4 | 集合通信 | NCCL tests 全卡跑通,bus bandwidth 接近硬件上限 |
| 5 | 存储挂载 | 数据集路径可读,写入带宽满足 checkpoint 需求 |
| 6 | 温度与功耗 | 满载 30 分钟,GPU 温度稳定不触发降频,机柜功率不超额度 |
| 7 | 带外管理 | IPMI 可远程登录,能看传感器与硬件日志 |
| 8 | 监控告警 | GPU 温度/功耗/利用率已接入,阈值告警可触达值班人 |
第 6 项建议做满 30 分钟而不是跑 5 分钟就结束。热量积累有延迟,很多降频问题在 15 分钟后才出现——尤其是机柜内多台机器同时满载时,进风温度会缓慢上升,最终越过阈值。这也是为什么「验收当天空载测试通过」不能作为交付依据。
选型的最后一句话:不要追求「最强配置」,追求「跑得动自己模型的最小配置」。多花的每一分钱在 GPU 上,回报都是递减的;而少算的每一项显存、功率、带宽,代价都是返工。