一、四块显存,各管一段

显存被四样东西占着,各自的增长方式完全不同。分开算,才知道加卡到底解决了哪一块。

四块显存的构成与增长方式
构成怎么算随什么增长能否压缩
权重参数量 × 每参数字节模型规模、精度量化(FP16→INT8 减半,INT4 再减半)
训练状态梯度 + 优化器状态,约 12~14 字节/参数是否全参、优化器类型LoRA、ZeRO 分片、8bit 优化器
激活值与 batch、序列长度、层数相关batch × 序列长度梯度检查点(重计算)、序列并行
KV Cache2 × 层数 × KV 头数 × head_dim × token 数 × 字节上下文长度 × 并发数GQA/MQA、分页管理、前缀缓存、KV 量化

四块的比例在不同任务里差别极大:短上下文推理,权重占九成;长上下文高并发推理,KV 能超过权重;全参数微调,训练状态是权重的好几倍,权重反而不是大头。所以「7B 要 14GB」这句话只在「FP16、短上下文、单请求、纯推理」这四个条件同时成立时才对。

二、四个公式,覆盖多数场景

公式一:推理权重。参数量 × 精度字节。BF16/FP16 是 2 字节,INT8 是 1 字节,INT4 是 0.5 字节。7B 在三种精度下分别是 14GB、7GB、3.5GB。这一步没有争议,注意单位换算即可(1B 参数 × 2 字节 = 2GB)。

量化能省显存,但省下的显存不一定换成速度。INT4 把权重压到原来的四分之一,decode 时读取量少了,理论上应快 4 倍;实际上每步还要做反量化,算力开销上来了,实测提升常在 1.5~2.5 倍之间。而且低精度要有硬件支持才划算:T4 的 INT8 有专门单元,跑量化模型收益明显;V100 不支持 INT4,强行量化只能走软件反量化,速度反而可能下降。选卡前先确认目标精度在该卡上有没有原生支持。

公式二:KV Cache。每 token 的 KV 占用 = 2(K 与 V)× 层数 × KV 头数 × head_dim × 字节数。以 7B 级常见结构(32 层、32 头、head_dim 128、FP16)算:2 × 32 × 32 × 128 × 2 = 524,288 字节,约 0.5MB/token。4K 上下文单请求就是 2GB,8 并发就是 16GB,32K 上下文 8 并发就是 128GB——比权重还大。

这里有一个关键变量:KV 头数不等于注意力头数。采用 GQA 的模型把多个查询头映射到一组 KV 头,70B 级模型常见 64 个注意力头配 8 组 KV 头,KV 占用直接降到 MHA 结构的 1/8。同样是 70B、4K 上下文:MHA 结构每 token 约 2.6MB、单请求 10.7GB;GQA-8 结构每 token 约 0.33MB、单请求 1.3GB。差 8 倍,直接决定一张卡能跑几个并发。选模型时看清这一点,比多看两个跑分有用。

KV 之外还有一个显存峰值点:prefill。推理分两段,prefill 把整段输入一次性算完,decode 才逐个生成。prefill 阶段要构造注意力矩阵,大小与「序列长度² × 头数」成正比——7B 级模型(32 头)在 4K 序列下单层的注意力矩阵就是 4096 × 4096 × 32 × 2 字节,约 1GB,32 层累加会直接爆显存。所以主流实现都用分块注意力(FlashAttention 一类)把这个矩阵切块计算,代价是额外的一次显存读写。这也是「长上下文首 token 延迟高」的原因:TTFT 由 prefill 决定,而 decode 速度由带宽决定,两者要分开评估。

公式三:全参数微调状态。混合精度 + Adam 是行业默认配置,每个参数要存五份:BF16 权重 2 字节、BF16 梯度 2 字节、FP32 主权重 4 字节、Adam 一阶矩 4 字节、二阶矩 4 字节,合计 16 字节。7B 就是 112GB,13B 是 208GB,70B 是 1,120GB——最后一个数字说明为什么 70B 全参微调至少要 16 张 80G 卡。LoRA 只更新低秩矩阵,可训练参数常低于总量的 1%,优化器状态可以忽略,显存回落到「权重 + 少量梯度 + 激活」的 6~8 字节/参数量级。

公式四:激活值。这一块最难精确算,因为它取决于实现细节(是否重计算、是否序列并行、注意力是否用 FlashAttention)。工程上的估法是「权重的 10%~30%」,长序列、大 batch 时上浮到 50%。开了梯度检查点能把激活压到原来的 1/3~1/5,代价是训练速度下降 20%~30%。

三、五个真实算例

公式套进具体场景,才能看出卡数是怎么定出来的。以下五个算例都给出假设,可以按自己的参数复算。

五个算例:显存需求与建议卡数(假设见「关键假设」列)
场景关键假设显存需求建议配置余量
7B 推理FP16、4K 上下文、8 并发14 + 16 = 30GB2 张 24G(48GB)18GB,可支撑 12 并发
32B 推理FP16、8K 上下文、4 并发64 + 12 = 76GB1 张 80G 或 2 张 48G4GB 偏紧,建议 2 张 80G
70B 推理FP16 GQA-8、8K、8 并发140 + 20 = 160GB4 张 80G(320GB)160GB,可到 32 并发
7B 全参微调Adam、BF16、2K 序列、batch 8112 + 20 = 132GB4 张 80G(320GB)188GB,可放大 batch
7B LoRA 微调rank 16、2K 序列、batch 414 + 6 = 20GB1 张 24G 或 1 张 48G24G 偏紧,长序列选 48G

几个算例的细节值得展开:

7B 推理为什么要 2 张 24G 而不是 1 张。单卡 24G 里能用约 23.3GB,权重 14GB 之后只剩 9GB,按每请求 2GB 的 KV 只能跑 4 个并发,第 5 个请求就开始排队或触发换出。2 张卡做张量并行后总量 48GB,权重各分 7GB,剩下 34GB 全部给 KV,并发能到 12 以上。这里的前提是两张卡之间有足够带宽——4090 没有 NVLink,TP 走 PCIe,7B 这种小模型在 2 卡 TP 下的效率损失约 15%,可以接受;换成 32B 就不建议 PCIe TP 了。

70B 推理的 4 卡是怎么来的。140GB 权重至少要 2 张 80G(160GB),但只剩 20GB 给 KV,按 GQA-8 结构每请求 2.5GB 算只能跑 8 并发,且没有任何余量应对突发。4 张 80G 是 320GB,权重按 TP4 各分 35GB,剩 180GB 给 KV 与激活,能支撑 32 并发以上。如果只做内部低频调用,2 张 80G 也能跑;对外提供服务,4 卡是更实际的起点。

7B 全参微调为什么不选 2 张卡。132GB 需求放在 2 张 80G(160GB)上,账面上够,但训练过程中激活值会随 batch 波动,加上 CUDA 碎片,实际很容易 OOM。4 张卡时用 ZeRO-2 或 TP4,每卡只存 28GB 状态与 3.5GB 权重,激活也分摊,压力小得多,还能把 batch 调大提升吞吐。训练场景的经验是「算出来够用就再加一档」,因为训练中断重跑的代价远高于多租两张卡。

再补一个 MoE 的算例,因为它会把上面的算法打破。以 671B 总参数、37B 激活参数的 MoE 模型为例:显存要按总参数算,FP8 下权重约 671GB,8 张 80G(640GB)装不下,需要 16 张(1,280GB)或 2 台整机;但算力消耗只按激活参数算,单次前向的计算量接近 37B 稠密模型。这就是 MoE 的特点——显存按总量买,算力按激活用。做容量规划时如果按「37B 只需要 74GB」来算,采购会严重不足。国产大模型里这类结构很常见,租用前务必确认「总参数」与「激活参数」两个数。

四、13 款机型的可行性矩阵

把上面的算法落到本站在租的 13 款整机上,得到一张「装得下 / 跑不动」的对照表。判定标准不是「能不能加载」,而是「加载后还剩多少给 KV 与激活」。

机型 × 模型可行性(✅ 单机可跑且有并发余量;⚠ 能加载但速度或并发受限;❌ 装不下)
机型整机显存7B13B32B70B FP1670B INT4
T4 16GB × 464GB✅⚠❌❌❌
V100 32GB × 8256GB✅✅✅⚠✅
RTX 3090 24GB × 8192GB✅✅✅⚠✅
RTX 4090D 24GB × 8192GB✅✅✅⚠✅
RTX 4090 24GB × 8192GB✅✅✅⚠✅
L40S 48GB × 8384GB✅✅✅✅✅
A800 80GB × 8640GB✅✅✅✅✅
A100 80GB × 8640GB✅✅✅✅✅
H800 80GB × 8640GB✅✅✅✅✅
H100 80GB × 8640GB✅✅✅✅✅
MTT S5000 80GB × 8640GB✅✅✅✅✅
CPU 计算型(128 核)—❌❌❌❌❌
大内存型(1TB)—❌❌❌❌❌

表里三个「⚠」的位置最能说明问题:V100、3090、4090 的 8 卡整机在容量上都装得下 70B(140GB 权重,192GB 或 256GB 总量),但都不适合。原因各不相同——V100 显存带宽 900GB/s、只支持到 FP16,加载 70B 后单请求生成速度个位数;3090 与 4090 是 PCIe 互联,8 卡做 TP 时每层全归约的开销盖过了并行收益,实测加速比常在 3 倍以下。所以 70B 的实际起点是 L40S 8 卡(384GB、可 TP8、成本 ¥12,000/月),要更高并发或训练才上 A800/H800。

CPU 计算型与大内存型两行的「❌」不是缺点,是定位问题:它们没有 GPU,跑不了模型推理,但在数据预处理、向量化、批量清洗、内存数据库这些环节比 GPU 机器更划算。一个常见的组合是「1 台 CPU 型做预处理 + 1 台 GPU 型做推理」,总成本比用 GPU 机器兼做数据处理更低。

单机装不下时,跨机怎么加。顺序是「先单机加满 8 卡,再跨机做流水线并行或数据并行,最后才考虑跨机张量并行」。原因是通信量与频次:数据并行每步只同步一次梯度,流水线并行在阶段边界传激活,而张量并行每层都要全归约。跨机走 100G InfiniBand 的实际带宽约 12.5GB/s,与机内 NVLink 的 900GB/s 差 72 倍,跨机 TP 的效率损失通常在 40% 以上。本站 H100/H800/A100/A800 四款机型都配 100G IB,就是为跨机 DP/PP 准备的;要做 32 卡以上的训练,建议按「4 机 × 8 卡」规划,TP 不跨机。

五、显存够了还是慢,看三个非显存瓶颈

瓶颈一:显存带宽。推理 decode 阶段每生成一个 token 要读一遍权重,速度上限就是「带宽 ÷ 权重体积」。同样 70B FP16,H100(3.35TB/s)理论上限约 24 token/s 单请求,L40S(864GB/s)约 6 token/s,差 4 倍。这一项加卡解决不了——加卡提升的是总吞吐(多卡分担不同请求),单请求延迟只跟单卡带宽有关。

瓶颈二:互联带宽。张量并行把单层切开放在多卡上,每层都要做全归约。8 卡 NVLink 900GB/s 与 PCIe 64GB/s 的差距是 14 倍,对应到实际训练速度可能是 2~3 倍的差距。选机型时如果只做数据并行(每卡一个完整模型副本),这一项可以忽略;要做 TP,就必须看互联。

瓶颈三:CPU 与内存。本站机型的内存配置从 128GB(T4)到 1TB(H100/A100/S5000)不等。多模态训练、视频解码、大规模数据加载都在 CPU 侧完成,内存不足会让 GPU 空转等数据。经验配比是每卡 64GB 内存起步,8 卡整机 512GB 是下限。另一个容易忽略的是本地盘:3.84TB NVMe × 2 与 7.68TB × 4 的差别,在于能否把训练集完整放在本地——放不下就要走网络存储,IO 又成新瓶颈。

还有一项常被漏算:checkpoint 的磁盘占用。70B 全参训练保存一份完整状态(权重 + 优化器)约 1.1TB,工程上至少保留「最新 + 上一个稳定版」两份,加上中间按步保存,实际占用常在 2~3TB。本站 H800/A100 机型配 7.68TB NVMe × 4(约 30TB 可用),A800 与 L40S 配 3.84TB × 2(约 7.7TB)——后者做 70B 训练时 checkpoint 很快就会把盘填满。选机型时把「本地盘容量 ÷ 单份 checkpoint 大小」算一遍,比看总容量有用。

六、四个常见误算

误算一:按参数量 × 2 直接下单。7B × 2 = 14GB,看到 24G 卡就以为够。漏掉 KV 与激活后,实际部署时并发一上来就 OOM。判断是否够用的最低标准是「权重 + 4K 上下文 1 并发的 KV」再留 20% 余量。

误算二:忽略 KV 随并发线性增长。KV 是「每请求每 token」都占,8 并发就是 8 倍。很多线上事故不是模型太大,是并发从 4 涨到 20 时显存被打满。做容量规划时按「峰值并发 × 2」预留。

误算三:用标称显存做分母。80GB 卡在系统里显示约 79.6GB,框架启动上下文还要 300~600MB,8 个进程各占一张卡时合计要扣 3~5GB。按标称 640GB 规划、实际可用 630GB,边界场景就会差这一点。

误算四:忘了显存碎片。PyTorch 的缓存分配器会保留已释放的块,长跑服务里 reserved 常比 allocated 高 10%~20%。开了动态形状(不同长度的请求混跑)碎片更明显。缓解办法是固定最大序列长度、用分页式 KV 管理、定期重启 worker。

误算五:多模型混部时只算了大模型。一个完整的 RAG 或 Agent 服务通常同时跑三个模型:向量化模型、重排模型、生成模型。前两个不大(几百 MB 到 3GB),但它们的常驻显存要叠加,且并发高时 KV 与 batch 缓冲也会涨。规划时按「主模型 + 2 个辅助模型 + 20% 缓冲」估,比只算主模型稳妥。

七、一页速查

把上面的内容压成一张决策卡,下单前对着看一遍:

① 先定精度:FP16 还是 INT8/INT4?量化能省一半到四分之三显存,代价是 1~3 个百分点的效果损失。
② 再算权重:参数量 × 字节数。
③ 算 KV:每 token 占用 × 上下文长度 × 并发数,GQA 模型记得除以 KV 分组倍数。
④ 判断是否训练:训练加 12~14 字节/参数的状态与 10%~30% 的激活。
⑤ 除以「单卡可用显存 × 并行效率」,向上取整。
⑥ 训练场景再加一档余量,推理场景按峰值并发 × 2 预留。
⑦ 最后检查带宽、互联、内存、本地盘四项,别让非显存瓶颈把卡白租了。