一、先把计价口径统一

不同服务商的报价单位不一样,直接比月租会得出错误结论。常见的四种口径,换算成「元/卡时」才能横向比较。

四种计价口径与换算方式
口径报价形式换算为元/卡时适合场景
按月¥X/月/整机X ÷(卡数 × 720)长期稳定任务,最常见
按天¥Y/天/整机Y ÷(卡数 × 24)短期试验、几天的批量任务
按小时¥Z/小时/卡直接就是弹性任务、按需启停
按卡时包预付 N 卡时总价 ÷ N用量可预估、想锁价

换算时注意两点:一是「整机」还是「单卡」,8 卡整机报 ¥6,800 与单卡报 ¥850 是同一个价;二是是否含电费,含电与不含电的报价能差 15%~25%,尤其 GPU 整机功率高,这一项不能忽略。本站算力租用机型均为整机独享、报价含基础电力与公网带宽,超出部分按实际用量另计。

还有一个更隐蔽的差异:计费周期是否按自然月。按自然月计费时,2 月只有 672 小时,比 720 少 6.7%;跨月启用还会遇到「按天折算」的规则差异。长租合同里这一条要写清,短期任务更要用「按天」或「按小时」口径,避免为半个月付整月。

二、13 款机型的单价横评

下表按元/卡时排序,同时给出元/GB 显存月价。两个指标要一起看:前者衡量算力成本,后者衡量容量成本,不同任务对两者的敏感度不同。

在租机型的单价对比(月租为挂牌参考价,元/卡时按 720 小时折算)
机型卡数 × 显存月租元/卡时元/GB 显存月元/TFLOPS 月
H100 80G SXM58 × 80GB¥38,0006.6059.44.80
H800 80G SXM8 × 80GB¥32,0005.5650.04.04
A100 80G SXM48 × 80GB¥26,0004.5140.610.42
A800 80G SXM8 × 80GB¥22,0003.8234.48.81
L40S 48GB8 × 48GB¥12,0002.0831.34.14
RTX 4090 24GB8 × 24GB¥6,8001.1835.42.58
RTX 4090D 24GB8 × 24GB¥6,2001.0832.32.50
RTX 3090 24GB8 × 24GB¥3,8000.6619.86.69
V100 32GB SXM28 × 32GB¥3,2000.5612.53.20
T4 16GB4 × 16GB¥1,2000.4218.84.62
MTT S5000 80GB OAM8 × 80GB询价———

「元/TFLOPS 月」这一列是把整机 FP16 标称算力折算成每 TFLOPS 的月成本,用来判断「买的算力贵不贵」。三个结论:

① 4090 系列的单位算力成本最低(¥2.50~2.58/TFLOPS 月)。消费级卡的算力密度高、没有品牌溢价,是纯算力性价比之王。代价是显存只有 24GB、无 NVLink、7×24 满载稳定性不如专业卡。适合「显存够、单机、短周期」的任务。

② H100 的单位算力成本是 4090 的 1.86 倍,但单位显存带宽的成本只差 1.7 倍。把分母换成整机显存带宽(元/GB/s 月),H100 约 ¥1.42,4090 约 ¥0.84——差距从 1.86 倍收窄到 1.69 倍。这说明 H100 贵在「显存带宽 + 互联 + 稳定性」这套组合,不是单纯贵在算力。推理密集型业务愿意为带宽付费,是这个定价成立的逻辑。

③ V100 的元/卡时最低(¥0.56),但元/TFLOPS 是 4090 的 1.24 倍。老卡的算力落后幅度大于价格降幅。它真正便宜的是显存(¥12.5/GB 月),适合「要大容量、不要高速度」的场景,比如把大模型权重常驻在显存里做低频调用。

别用「元/卡时」比不同代的卡。卡时是时间单位,不是工作量单位。V100 跑 1 小时的工作量,H100 可能 20 分钟就完成。跨代比较要换算成「跑完同一任务的总花费」,下一节给方法。

三、跑完同一件事要花多少钱

把「时间差」折进去,单价的排序会变。以一个具体任务为例:7B 模型 LoRA 微调,在 8 卡 4090 上跑 12.5 小时(合计 100 卡时)。换到其他机型,按大致的算力倍数估算耗时与费用。

同一任务(7B LoRA,基准 100 卡时 @4090)在不同机型上的耗时与费用(相对速度为经验值,非标称算力换算,实际以试跑为准)
机型相对速度所需卡时墙钟耗时费用相对基准
RTX 4090 8 卡1.0×10012.5 小时¥118基准
RTX 4090D 8 卡0.95×10513.2 小时¥113−4%
L40S 8 卡1.2×8310.4 小时¥174+47%
A800 8 卡1.3×779.6 小时¥294+149%
A100 8 卡1.4×718.9 小时¥322+173%
H800 8 卡2.8×364.5 小时¥198+68%
H100 8 卡3.0×334.2 小时¥220+86%

这张表有两个反直觉的地方。一是 H800 的单位任务成本只比 4090 高 68%,耗时却缩短了三分之二——多花 80 元省下 8 小时,如果这 8 小时里团队在等结果,人工成本远高于 80 元。二是 4090D 反而比 4090 便宜 4%:它慢 5%,但月租低 600 元,两者相乘后略占优。低负载任务里,这类「便宜但略慢」的组合经常胜出。

为什么不能按标称算力直接换算。4090 的标称 FP16 算力约 330 TFLOPS,A100 是 312 TFLOPS,纸面上 4090 更高;但 8 卡跑 7B 全参微调,A100 通常更快。原因有三:标称值是峰值,实际常受显存带宽限制(A100 的 2.0TB/s 是 4090 的两倍);多卡场景靠 NVLink,4090 只有 PCIe;消费级卡的固件与散热不为 7×24 计算负载设计,长跑会降频。所以任何「按 TFLOPS 折算耗时」的表都只能当量级参考,最终以试跑为准。

决策规则可以写得很简单:任务总卡时小于 200(约 1 天以内跑完)→ 选便宜的卡,多等几小时无所谓;任务总卡时在 200~2,000 之间 → 按「人工时薪 × 节省小时数」和价差比一比,多数情况下中端卡(L40S/A800)最划算;任务超过 2,000 卡时或需要反复迭代 → 直接上 H800/H100,时间成本已经压倒租金差。另一种情况是任务有交付期限,那就不是成本问题,是能不能按时交付的问题。

四、闲置率:被忽略的最大变量

租来的机器不会 7×24 满载。训练要等数据准备、等调参、等评估;推理业务有白天高峰与夜间低谷。行业里训练集群的日均 GPU 利用率常在 40%~60%,推理集群视业务而定,30%~70% 都有。利用率一降,有效卡时成本就上去了。

利用率对有效卡时成本的影响(以 4090 挂牌 ¥1.18/卡时、H100 ¥6.60/卡时为例)
日均利用率4090 有效成本相对挂牌H100 有效成本相对挂牌
80%¥1.48+25%¥8.25+25%
60%¥1.97+67%¥11.00+67%
45%¥2.62+122%¥14.67+122%
30%¥3.93+233%¥22.00+233%

利用率从 60% 降到 30%,有效成本翻一倍。这个幅度比「换更便宜的机型」大得多——所以在优化成本之前,先看自己的利用率曲线。三个提高利用率的做法:

一是把训练与推理混部。训练任务白天占卡、推理业务夜间跑批量,两个负载叠在一台机器上,利用率能从 45% 提到 70% 以上。前提是显存要留够(推理模型常驻会占掉一部分),以及用容器或 MIG 做隔离。

二是按需扩缩。峰值用按小时计费的资源顶,基线用包月。本站支持按天、按月、按季、按年多种周期,短期峰值不必包整月。

三是缩短「等」的时间。数据预处理好放在本地盘、镜像提前做好、调参用小规模采样先跑通流程——这些工程动作不花钱,但能把「等」从几天压到几小时。利用率低往往不是卡的问题,是流程的问题。

五、自购还是租用:把回本算清楚

「买一台是不是更划算」是绕不开的问题。算这笔账要把五项都算进去,只比「设备价 ÷ 月租」会严重低估持有成本。

H100 8 卡整机:自购与租用的年成本对比(自购价按公开渠道整机行情估,实际以询价为准;电价按 0.7 元/度、PUE 1.4)
成本项自购(5 年摊销)租用说明
设备约 40 万元/年—整机约 200 万元,5 年直线摊销
机房与电力约 7.5 万元/年含在月租9kW × 720h × 0.7 元 × 1.4,约 6,350 元/月
带宽约 1.2 万元/年含在月租10G 独享按 1,000 元/月估
运维人力约 3 万元/年含在月租0.2 人力,按 15 万元/年折算
备件与维修约 2 万元/年含在月租按设备价 2%/年预留
合计约 53.7 万元/年45.6 万元/年租金 3.8 万元 × 12

自购的年成本反而高于租用,原因是摊销期只有 5 年,而 GPU 的实际经济寿命常短于 5 年——新代际一出,老卡的算力性价比立刻下降。如果把摊销期改成 3 年,自购年成本升到约 70 万元,差距更大。

回本周期的算法:设备价 ÷(月租 − 月持有成本)。以 H100 为例,月租 3.8 万元,月持有成本约(7.5 + 1.2 + 3 + 2)÷ 12 ≈ 1.14 万元,月净省 2.66 万元,200 万 ÷ 2.66 万 ≈ 75 个月,即 6.3 年。这个数字比很多人预期的长。只有两种情况自购更划算:一是设备能用满 5 年以上且接近满载,二是采购价显著低于市场价(如批量集采、国产化补贴)。

还有一个常被忽略的隐性成本:技术迭代风险。2022 年买的 A100,到 2025 年同价位的卡算力已翻数倍,设备还在账上但已不划算。租用的本质是把这部分风险转移给服务商,代价是付一点溢价。对多数企业,这个交换是值的。

六、五个降本动作

① 拉长租期换折扣。按月、按季、按年的单价通常依次递减,长租折扣在行业里常见 5%~15%。如果任务确定要跑 6 个月以上,按年谈比按月续省得更多。注意合同里写清「提前退租的结算方式」,避免业务变化时被全额计费。

② 用足量化与蒸馏。把 FP16 换成 INT8,显存减半、吞吐常有 1.5~2 倍提升,等效于把卡的需求砍掉一半。这是零成本动作,优先做。

③ 把非 GPU 负载分出去。数据清洗、向量化前的文本处理、日志分析这些跑在 CPU 上更便宜。本站 CPU 计算型 ¥1,800/月(128 核)、大内存型 ¥2,600/月(1TB),比用 GPU 机器兼做这些事划算得多。

④ 清退闲置机型。长期低于 20% 利用率的机器直接退。一台 ¥3,800/月的 3090 整机,闲置一年就是 4.56 万元,比很多项目的预算都高。

⑤ 峰值用短周期。促销、发布会、模型上线初期这类几天的峰值,用按天或按小时的资源顶,不要为两周的峰值包一年。

七、报价单要问的五个问题

拿到一份算力租用报价,逐条确认这五项,能避免后续 20% 以上的追加费用:

一问:电费含不含,含多少额度。GPU 整机功率 8~10kW,月电费就是 6,000 元以上。报价含电与不含电差很多,含电的还要问「额度是多少 kW」,超额怎么计。

二问:公网带宽多少,超流量怎么算。整机通常配 10G 独享或按流量计费,训练场景下载数据集会吃掉大量流量。要问清是「带宽包月」还是「按流量计费」。

三问:IP 数量与是否可加。默认常配 1 个 IPv4,多 IP 要额外付费。做多实例或需要独立 IP 的业务要提前确认。

四问:存储是不是本地盘,容量多少。本地 NVMe 与网络存储的性能差一个数量级,训练集放网络存储会拖慢数据加载。本站机型页都标了本地盘配置(如 3.84TB NVMe × 2、7.68TB × 4),报价单上也要写清。

五问:迁移与上架协助是否收费。从其他平台迁过来,涉及数据搬运、环境重建、驱动适配。这部分工作量常被低估,要问清是否包含、超出怎么计费。

把五项写进合同附件:电力额度、带宽口径、IP 数量、本地盘容量、迁移协助范围,逐项写明数值与超额单价。这五项是后续账单争议的高发区,口头承诺在结算时不作数。

八、一张成本测算表的模板

最后给一个可直接套用的表结构,八列足够覆盖多数场景:机型、数量、月租、租期(月)、电费与带宽附加、迁移一次性投入、预期利用率、折算有效卡时成本。前五列从报价单来,第六列按实际工作量估,第七列按历史数据填,第八列用第一节的公式算。

填完之后做一次敏感性检查:把利用率下调 15 个百分点、把租期缩短一半,看总成本变化多少。如果结论会翻转,说明这个决策对假设太敏感,应该先做小规模验证再签长约——这也是租用相对自购的最大好处:可以用一个月的成本去验证判断,而不是用五年的折旧去承担。