算力选型

A100 还是 H100

同样是 80GB 显存，A100 和 H100 差的不只是速度，还有一项能力：FP8。这项能力在推理场景里意味着接近翻倍的吞吐，也意味着 12,000 元月租差价是否值得。

80GB两者显存相同

2.04 / 3.35显存带宽 TB/s

无 / 有FP8 支持

12,000 元月租差价

A100 和 H100 差一代，现在租哪个更划算？

按任务分：推理服务优先 A100——显存一样是 80GB，FP8 带来的吞吐提升只有在高并发、且框架已适配的前提下才明显，多数业务用 A100 + INT8 就能满足，省下的 12,000 元/月可以多租近一半的卡。LoRA 微调两者都能做，A100 性价比更高。全参预训练、长上下文、MoE 必须 H100——FP8 训练、Transformer Engine 和更高的显存带宽在这里是刚需。

显存同为 80GB，能跑的模型规模上限相同
带宽 2.04 vs 3.35 TB/s，解码速度差约 1.6 倍
FP8：A100 不支持，H100 原生支持
推理与 LoRA 微调：A100 性价比更高
预训练、长上下文、MoE：H100 是唯一选择

代际

一代之差，差在三处

A100 是 Ampere 架构（2020），H100 是 Hopper 架构（2022）。代际差体现在三个具体能力上：

一、显存类型与带宽。A100 用 HBM2e，2.04 TB/s；H100 用 HBM3，3.35 TB/s。带宽直接决定单卡解码（生成 token）的速度，因为大模型推理是内存带宽瓶颈型负载。

二、FP8 支持。A100 最低到 FP16/INT8；H100 原生支持 FP8，配合 Transformer Engine 可以自动在层间切换精度。这是 H100 在推理吞吐上的最大杀器。

三、互联与集群能力。H100 的 NVLink 900 GB/s、支持更完整的集群互联方案；A100 是 600 GB/s（A800 为 400 GB/s）。

参数

参数对照

规格来自厂商公开资料，算力数值为稠密口径的量级参考。
指标	A100 80GB SXM	H100 80GB SXM	差异意味着什么
架构	Ampere	Hopper	指令集与算子支持不同
显存	80GB HBM2e	80GB HBM3	模型规模上限相同
显存带宽	2.04 TB/s	3.35 TB/s	解码速度约 1.6 倍
FP8	不支持	支持	推理吞吐可再提一档
NVLink	600 GB/s	900 GB/s	多卡并行通信更快
TDP	400W	700W	托管电力需求差近一倍
站内参考价（8 卡/月）	¥26,000 起	¥38,000 起	差价 12,000 元/月

注意最后一行的隐含信息：H100 的功耗比 A100 高 75%。如果是自购托管，电费差额一年就是几千到上万元；租用则已含在价格里，不用单独算。

推理

推理：A100 常常够用

推理是内存带宽瓶颈型负载——每生成一个 token，都要把模型权重从显存读一遍。所以带宽提升 1.6 倍，理论解码速度也接近 1.6 倍。但实际业务里，这个差距常被三件事抵掉：

并发还没打满。如果 QPS 只有个位数，两张卡都在等请求，带宽优势体现不出来。
用了量化。INT8/INT4 量化后，显存占用与带宽压力都下降，A100 的短板被削弱。
框架没适配 FP8。FP8 的收益依赖 TensorRT-LLM、vLLM 等框架的支持程度，不是打开开关就有。

按业务形态判断。
业务形态	建议	理由
内部知识库问答，日请求几千	A100	并发低，带宽不是瓶颈
对外 API 服务，高并发	H100	FP8 + 高带宽直接换成吞吐
批量离线推理（不赶时间）	A100	吞吐够用，成本优先
多模态、长上下文推理	H100	KV Cache 大，带宽压力高

微调

微调：两者都能做，A100 更划算

LoRA/QLoRA 微调对显存的要求远低于全参训练，7B~13B 模型单卡 80GB 就能跑，70B 需要 4~8 卡。这类任务的计算强度不高，瓶颈常在数据加载与预处理，而不是 GPU 峰值算力。

所以：LoRA 微调优先 A100。同样的预算，用 A100 可以多跑 40% 的实验轮次，对调参阶段的实际收益更大。

唯一例外是需要训练长上下文（32K 以上）或多模态适配器时，H100 的显存带宽与 FP8 会明显缩短单轮时间。

训练

预训练：只能 H100

全参预训练是唯一没有替代方案的场景。原因不是「H100 更快」，而是三件事叠加：

FP8 训练。Hopper 的 Transformer Engine 能在保持精度的前提下用 FP8 计算，显存占用和计算时间同时下降。A100 没有这个能力，只能 BF16。

带宽与互联。预训练几乎一定用 TP+DP+PP 组合并行，通信量大，NVLink 与显存带宽都会成为瓶颈。

生态优先级。新出的训练框架、算子库、并行策略，优先适配 Hopper。用 A100 跑最新框架，常遇到算子缺失或性能未优化的坑。

一句话：如果项目是「从零训练一个基座模型」，不要为省钱选 A100，省下的租金会被拉长的训练时间和调试成本吃掉。

组合

三种组合，按预算和目标选

真实项目里很少只租一台机器。把卡型组合起来，往往比纠结单卡型号更有效：

以 8 卡整机、月租参考价折算，不含带宽与存储。
组合	配置	月租参考	适合
预算优先	8 卡 A100 × 1 台	26,000 元	推理为主、微调少量、预算紧
均衡型	8 卡 A100（推理）+ 8 卡 H100（训练）	64,000 元	既有线上服务又有训练需求
攻坚型	8 卡 H100 × 2 台（16 卡）	76,000 元	大模型全参训练、长上下文
极致省钱	8 卡 A800 × 1 台	22,000 元	单机推理、对互联要求不高

均衡型值得单独说：训练和推理对卡的要求本来就不同。训练要 FP8、要大互联带宽、要最新框架支持；推理要的是显存够大、成本够低、跑得稳。用一台 H100 同时干这两件事，等于用最贵的资源做最普通的活。

拆开之后还有个额外好处：训练任务把 H100 占满时，推理服务不受影响；推理侧要扩容时，也不必动训练环境。这种隔离带来的稳定性，往往比省下的钱更值。

价格

12,000 元差价怎么摊

按 8 卡整机、月租口径折算。
使用场景	A100 是否够用	建议
7B~32B 推理服务	够用	选 A100，省 12,000/月
70B 推理（8 卡）	够用但吞吐低	高并发选 H100，低并发选 A100
LoRA 微调 7B~70B	够用	选 A100
全参微调 70B	勉强	H100 更稳
预训练 / 长上下文 / MoE	不够	必须 H100
科学计算（FP64）	A100 FP64 强	选 A100 反而更合适

最后一行值得单独说：A100 的 FP64 是 9.7 TFLOPS，H100 是 34 TFLOPS，但 H800 只有 1 TFLOPS。如果做仿真类计算且预算有限，A100 是一个被低估的选择。

FAQ

A100 与 H100 的八个实际问题

A100 现在还能租到吗，是不是过时了？

能租到，也没有过时。A100 的 80GB 显存与成熟生态足以支撑绝大多数推理和微调任务，很多生产环境仍以 A100 为主力。它的定位从「最强」变成了「性价比最高的 80GB 卡」。

A100 和 H100 显存一样，为什么价格差这么多？

差在带宽（2.04 vs 3.35 TB/s）、FP8 支持、NVLink 带宽（600 vs 900 GB/s）和代际生态优先级。H100 在推理吞吐和训练效率上有实打实的提升，但对低并发推理这类场景，溢价换不来对应收益。

FP8 到底能带来多少提升？

在框架完整适配（如 TensorRT-LLM、vLLM 的 FP8 路径）且并发打满的前提下，推理吞吐相比 FP16 可提升接近一倍。但如果是低并发或框架未适配，提升非常有限，不能按理论值估算。

只做 LoRA 微调，有必要上 H100 吗？

没有必要。LoRA 微调的计算强度不高，A100 的 80GB 显存完全够用，瓶颈通常在数据管线。同样的预算用 A100 能多跑 40% 的实验轮次，对调参更有价值。

训练 70B 模型需要几张卡？

全参训练至少 8 卡起（配合 TP+PP+ZeRO），实践上 16~32 卡更常见；LoRA 微调 8 卡可以，4 卡在序列较长时会吃紧。具体取决于序列长度、batch size 与优化器状态是否分片。

A100 和 H800 哪个更值？

看任务。单卡推理与微调，A100 的带宽更高（2.04 vs 3.35 是同代对比口径，A100 对 H800 则是 A100 显存带宽 2.04 TB/s 对 H800 的 3.35 TB/s，H800 带宽更高但 NVLink 只有 400 GB/s）。简单说：要 TP 并行选 H800/H100，要 FP64 或纯性价比选 A100。