多大显存，能跑多大模型
「70B 要几张卡」这个问题，答案不在参数表里，在一条公式里：权重 + KV Cache + 激活值 + 框架开销。多数人只算了第一项，所以在长上下文和高并发时炸显存。
跑一个 70B 模型，到底需要多少显存、几张卡？
FP16 推理：70B 权重约 140GB，单张 80GB 卡放不下，至少 2 张。但真正的变量是 KV Cache——70B 采用 GQA 后约 313MB/千 token，8K 上下文、batch 16 时再占约 40GB，实际配置通常是 4 张起。如果用 INT4 量化，权重降到 35GB，单卡可跑但并发受限。全参微调则要按每参数 16 字节算，70B 需要 1TB 以上显存，即 16 张 80GB 卡起步。
- 推理权重：FP16 每参数 2 字节，INT8 是 1，INT4 是 0.5
- KV Cache 常被漏算，长上下文时可能超过权重本身
- 全参微调每参数约 16 字节（含优化器状态）
- 70B FP16 推理：2 卡起步，实用配置 4 卡
- 留 20% 余量，别按理论值卡满
一条公式，四项构成
显存占用不是玄学，四项加起来就是答案：
权重 ≈ 参数量 × 每参数字节（FP16=2，INT8=1，INT4=0.5）
KV Cache ≈ 2 × 层数 × KV头数 × head维度 × 序列长度 × batch × 每元素字节
激活值：推理时很小，训练时随 batch 与序列长度增长
框架开销：CUDA 上下文与显存碎片，通常预留 1~2GB，工程上按 20% 余量更稳
四项里，权重是固定的，其余三项都随你的使用方式变化。所以「这个模型要几张卡」这个问题，必须带上「多长上下文、多少并发、推理还是训练」三个前提才有答案。
权重：最容易算的一项，也是唯一固定的
| 模型规模 | FP16 / BF16（2 字节） | INT8（1 字节） | INT4（0.5 字节） |
|---|---|---|---|
| 7B | 约 14GB | 约 7GB | 约 3.5GB |
| 13B | 约 26GB | 约 13GB | 约 6.5GB |
| 32B | 约 64GB | 约 32GB | 约 16GB |
| 70B | 约 140GB | 约 70GB | 约 35GB |
| 110B | 约 220GB | 约 110GB | 约 55GB |
| 180B | 约 360GB | 约 180GB | 约 90GB |
| 405B | 约 810GB | 约 405GB | 约 202GB |
看这张表能得出两个直接结论：32B 是单张 80GB 卡在 FP16 下的上限（64GB 权重 + 余量，勉强放得下）；70B 在 INT4 下可以塞进一张卡，但并发一上来就会被 KV Cache 顶爆。
KV Cache：最常被漏算的一项
大模型生成每个 token 时，都要缓存前面所有 token 的 Key 和 Value，避免重复计算。这部分显存随上下文长度与并发数线性增长，且不随量化权重一起缩小（除非单独量化 KV）。
| 模型 | 结构 | 每 1K token | 8K 上下文 × 并发 16 |
|---|---|---|---|
| 7B | 32 层 / 32 头（MHA） | 约 500MB | 约 64GB |
| 13B | 40 层 / 40 头（MHA） | 约 800MB | 约 102GB |
| 32B | 64 层 / 8 组 KV（GQA） | 约 250MB | 约 32GB |
| 70B | 80 层 / 8 组 KV（GQA） | 约 313MB | 约 40GB |
这张表解释了一件反直觉的事：13B 的 KV Cache 比 70B 还大。因为 13B 用的是标准多头注意力（MHA），每个头都有独立的 KV；70B 用了分组查询注意力（GQA），多个查询头共享一组 KV，缓存量降到 1/8 左右。
训练与推理，差 8 倍以上
推理只需要权重和缓存；训练还要存梯度、优化器状态和中间激活。以 AdamW 混合精度为例：
| 方式 | 每参数字节 | 7B 需要 | 70B 需要 |
|---|---|---|---|
| FP16 推理 | 约 2 | 14GB | 140GB |
| INT8 推理 | 约 1 | 7GB | 70GB |
| LoRA 微调（基座冻结） | 约 2 + 少量适配器 | 16~20GB | 150~170GB |
| 全参微调（AdamW 混合精度） | 约 16 | 112GB | 1,120GB |
所以：7B 全参微调至少 2 张 80GB 卡（配合 ZeRO 分片），70B 全参微调需要 16 张卡起步。而 LoRA 因为冻结基座，7B 单卡就能跑，70B 用 2~4 卡可以完成——这是 LoRA 成为主流的真实原因，不只是省显存，更是省卡。
激活值这一项在长序列训练时会显著增长，实践中常配合梯度检查点（gradient checkpointing）用时间换显存，能把激活占用压到 1/3 左右。
卡数速查表（80GB 单卡，留 20% 余量）
| 模型 | FP16 推理 | INT8 推理 | INT4 推理 | LoRA 微调 | 全参微调 |
|---|---|---|---|---|---|
| 7B | 1 张 | 1 张 | 1 张 | 1 张 | 2 张 |
| 13B | 1 张 | 1 张 | 1 张 | 1 张 | 2~4 张 |
| 32B | 1~2 张 | 1 张 | 1 张 | 2 张 | 8 张 |
| 70B | 2~4 张 | 2 张 | 1~2 张 | 2~4 张 | 16 张 |
| 110B | 4 张 | 2~3 张 | 2 张 | 8 张 | 24 张 |
| 180B | 8 张 | 4 张 | 2~3 张 | 8~16 张 | 32 张+ |
| 405B | 12~16 张 | 6~8 张 | 4 张 | 16 张+ | 64 张+ |
读表时注意三点：第一，推理的卡数主要由权重决定下限、由 KV Cache 决定实际配置；第二，微调的卡数还要乘上你想要的并行度（数据并行会按倍数增加卡数）；第三，跨机之后通信开销会吃掉一部分效率，8 卡以上的扩展不是线性的。
三个常见误判
误判一：按权重算卡数。70B FP16 权重 140GB，看起来 2 张卡就够。但加上 8K 上下文、16 并发的 KV Cache（约 40GB）和框架开销，2 张卡只剩不到 5GB 余量，稍有波动就 OOM。实用配置是 4 张。
误判二：忽略量化对 KV Cache 的影响。权重量化到 INT4，KV Cache 并不会自动变小，它仍按 FP16 存。有些框架支持 KV Cache 量化，但需要单独开启且可能影响精度。
误判三：以为多卡就是线性加速。张量并行每层都要通信，卡越多通信占比越高。8 卡跑 70B 的实际吞吐通常只有单卡理论值的 5~6 倍，而不是 8 倍。
显存测算的八个实际问题
70B 模型需要几张 80GB 卡？
FP16 推理 2 张是理论下限，实用配置 4 张；INT8 推理 2 张；INT4 推理 1~2 张（并发受限）；LoRA 微调 2~4 张；全参微调 16 张起。具体取决于上下文长度与并发数。
为什么 13B 的 KV Cache 比 70B 还大？
因为注意力结构不同。13B 常用标准多头注意力（MHA），每个头独立缓存 KV；70B 用分组查询注意力（GQA），8 个查询头共享一组 KV，缓存量降到约 1/8。选模型时要看结构，不只看参数量。
INT4 量化后显存能省多少？
权重部分能省到 FP16 的 1/4（每参数 0.5 字节对 2 字节）。但 KV Cache 通常不随之缩小，所以总显存节省比例低于 75%。长上下文场景下，节省效果会明显打折。
LoRA 微调比全参省多少显存？
全参微调每参数约 16 字节（含梯度与优化器状态），LoRA 只需约 2 字节（基座冻结）+ 少量适配器参数，相差 8 倍左右。这是 7B 能在单卡微调、70B 只需 2~4 卡的直接原因。
上下文从 8K 加到 128K，显存会涨多少？
KV Cache 与序列长度线性相关。8K 到 128K 是 16 倍，KV Cache 也涨 16 倍。70B 在 8K × 并发 16 时约 40GB，到 128K 同等并发就是 640GB，必须靠减少并发或分页注意力等技术手段。
显存够但速度慢，是什么原因？
多数是显存带宽瓶颈，不是容量瓶颈。单卡解码速度取决于带宽（H100 3.35TB/s、A100 2.04TB/s），而不是算力。所以「显存够用」和「速度够快」是两个独立问题。
多卡跑一个模型，8 卡是 8 倍速度吗？
不是。张量并行每层都要跨卡通信，卡越多通信开销占比越高。8 卡跑 70B 的实际吞吐通常是单卡的 5~6 倍。通信带宽（NVLink 400 vs 900 GB/s）会直接影响这个倍数。
怎么快速估算我的场景要几张卡？
三步：先算权重（参数量 × 精度字节），再算 KV Cache（每千 token 数值 × 上下文千数 × 并发），两项相加后除以单卡可用显存（80GB 按 64GB 可用估），向上取整。留 20% 余量。
把你的模型、上下文长度和并发量发我，我算准确卡数
给出「几张卡、什么型号、月租多少」的具体配置，不用你自己套公式。
告诉我们你的需求，工程师直接对接
提交后由对应产品线的工程师联系，提供资源清单与报价区间。电话与信息仅用于本次咨询对接，不做他用。
- 2 小时内响应（工作日）
- 提供多方对比的选型建议
- 可开具资质文件与正规发票