一、先把计价口径统一
不同服务商的报价单位不一样,直接比月租会得出错误结论。常见的四种口径,换算成「元/卡时」才能横向比较。
| 口径 | 报价形式 | 换算为元/卡时 | 适合场景 |
|---|---|---|---|
| 按月 | ¥X/月/整机 | X ÷(卡数 × 720) | 长期稳定任务,最常见 |
| 按天 | ¥Y/天/整机 | Y ÷(卡数 × 24) | 短期试验、几天的批量任务 |
| 按小时 | ¥Z/小时/卡 | 直接就是 | 弹性任务、按需启停 |
| 按卡时包 | 预付 N 卡时 | 总价 ÷ N | 用量可预估、想锁价 |
换算时注意两点:一是「整机」还是「单卡」,8 卡整机报 ¥6,800 与单卡报 ¥850 是同一个价;二是是否含电费,含电与不含电的报价能差 15%~25%,尤其 GPU 整机功率高,这一项不能忽略。本站算力租用机型均为整机独享、报价含基础电力与公网带宽,超出部分按实际用量另计。
还有一个更隐蔽的差异:计费周期是否按自然月。按自然月计费时,2 月只有 672 小时,比 720 少 6.7%;跨月启用还会遇到「按天折算」的规则差异。长租合同里这一条要写清,短期任务更要用「按天」或「按小时」口径,避免为半个月付整月。
二、13 款机型的单价横评
下表按元/卡时排序,同时给出元/GB 显存月价。两个指标要一起看:前者衡量算力成本,后者衡量容量成本,不同任务对两者的敏感度不同。
| 机型 | 卡数 × 显存 | 月租 | 元/卡时 | 元/GB 显存月 | 元/TFLOPS 月 |
|---|---|---|---|---|---|
| H100 80G SXM5 | 8 × 80GB | ¥38,000 | 6.60 | 59.4 | 4.80 |
| H800 80G SXM | 8 × 80GB | ¥32,000 | 5.56 | 50.0 | 4.04 |
| A100 80G SXM4 | 8 × 80GB | ¥26,000 | 4.51 | 40.6 | 10.42 |
| A800 80G SXM | 8 × 80GB | ¥22,000 | 3.82 | 34.4 | 8.81 |
| L40S 48GB | 8 × 48GB | ¥12,000 | 2.08 | 31.3 | 4.14 |
| RTX 4090 24GB | 8 × 24GB | ¥6,800 | 1.18 | 35.4 | 2.58 |
| RTX 4090D 24GB | 8 × 24GB | ¥6,200 | 1.08 | 32.3 | 2.50 |
| RTX 3090 24GB | 8 × 24GB | ¥3,800 | 0.66 | 19.8 | 6.69 |
| V100 32GB SXM2 | 8 × 32GB | ¥3,200 | 0.56 | 12.5 | 3.20 |
| T4 16GB | 4 × 16GB | ¥1,200 | 0.42 | 18.8 | 4.62 |
| MTT S5000 80GB OAM | 8 × 80GB | 询价 | — | — | — |
「元/TFLOPS 月」这一列是把整机 FP16 标称算力折算成每 TFLOPS 的月成本,用来判断「买的算力贵不贵」。三个结论:
① 4090 系列的单位算力成本最低(¥2.50~2.58/TFLOPS 月)。消费级卡的算力密度高、没有品牌溢价,是纯算力性价比之王。代价是显存只有 24GB、无 NVLink、7×24 满载稳定性不如专业卡。适合「显存够、单机、短周期」的任务。
② H100 的单位算力成本是 4090 的 1.86 倍,但单位显存带宽的成本只差 1.7 倍。把分母换成整机显存带宽(元/GB/s 月),H100 约 ¥1.42,4090 约 ¥0.84——差距从 1.86 倍收窄到 1.69 倍。这说明 H100 贵在「显存带宽 + 互联 + 稳定性」这套组合,不是单纯贵在算力。推理密集型业务愿意为带宽付费,是这个定价成立的逻辑。
③ V100 的元/卡时最低(¥0.56),但元/TFLOPS 是 4090 的 1.24 倍。老卡的算力落后幅度大于价格降幅。它真正便宜的是显存(¥12.5/GB 月),适合「要大容量、不要高速度」的场景,比如把大模型权重常驻在显存里做低频调用。
三、跑完同一件事要花多少钱
把「时间差」折进去,单价的排序会变。以一个具体任务为例:7B 模型 LoRA 微调,在 8 卡 4090 上跑 12.5 小时(合计 100 卡时)。换到其他机型,按大致的算力倍数估算耗时与费用。
| 机型 | 相对速度 | 所需卡时 | 墙钟耗时 | 费用 | 相对基准 |
|---|---|---|---|---|---|
| RTX 4090 8 卡 | 1.0× | 100 | 12.5 小时 | ¥118 | 基准 |
| RTX 4090D 8 卡 | 0.95× | 105 | 13.2 小时 | ¥113 | −4% |
| L40S 8 卡 | 1.2× | 83 | 10.4 小时 | ¥174 | +47% |
| A800 8 卡 | 1.3× | 77 | 9.6 小时 | ¥294 | +149% |
| A100 8 卡 | 1.4× | 71 | 8.9 小时 | ¥322 | +173% |
| H800 8 卡 | 2.8× | 36 | 4.5 小时 | ¥198 | +68% |
| H100 8 卡 | 3.0× | 33 | 4.2 小时 | ¥220 | +86% |
这张表有两个反直觉的地方。一是 H800 的单位任务成本只比 4090 高 68%,耗时却缩短了三分之二——多花 80 元省下 8 小时,如果这 8 小时里团队在等结果,人工成本远高于 80 元。二是 4090D 反而比 4090 便宜 4%:它慢 5%,但月租低 600 元,两者相乘后略占优。低负载任务里,这类「便宜但略慢」的组合经常胜出。
为什么不能按标称算力直接换算。4090 的标称 FP16 算力约 330 TFLOPS,A100 是 312 TFLOPS,纸面上 4090 更高;但 8 卡跑 7B 全参微调,A100 通常更快。原因有三:标称值是峰值,实际常受显存带宽限制(A100 的 2.0TB/s 是 4090 的两倍);多卡场景靠 NVLink,4090 只有 PCIe;消费级卡的固件与散热不为 7×24 计算负载设计,长跑会降频。所以任何「按 TFLOPS 折算耗时」的表都只能当量级参考,最终以试跑为准。
决策规则可以写得很简单:任务总卡时小于 200(约 1 天以内跑完)→ 选便宜的卡,多等几小时无所谓;任务总卡时在 200~2,000 之间 → 按「人工时薪 × 节省小时数」和价差比一比,多数情况下中端卡(L40S/A800)最划算;任务超过 2,000 卡时或需要反复迭代 → 直接上 H800/H100,时间成本已经压倒租金差。另一种情况是任务有交付期限,那就不是成本问题,是能不能按时交付的问题。
四、闲置率:被忽略的最大变量
租来的机器不会 7×24 满载。训练要等数据准备、等调参、等评估;推理业务有白天高峰与夜间低谷。行业里训练集群的日均 GPU 利用率常在 40%~60%,推理集群视业务而定,30%~70% 都有。利用率一降,有效卡时成本就上去了。
| 日均利用率 | 4090 有效成本 | 相对挂牌 | H100 有效成本 | 相对挂牌 |
|---|---|---|---|---|
| 80% | ¥1.48 | +25% | ¥8.25 | +25% |
| 60% | ¥1.97 | +67% | ¥11.00 | +67% |
| 45% | ¥2.62 | +122% | ¥14.67 | +122% |
| 30% | ¥3.93 | +233% | ¥22.00 | +233% |
利用率从 60% 降到 30%,有效成本翻一倍。这个幅度比「换更便宜的机型」大得多——所以在优化成本之前,先看自己的利用率曲线。三个提高利用率的做法:
一是把训练与推理混部。训练任务白天占卡、推理业务夜间跑批量,两个负载叠在一台机器上,利用率能从 45% 提到 70% 以上。前提是显存要留够(推理模型常驻会占掉一部分),以及用容器或 MIG 做隔离。
二是按需扩缩。峰值用按小时计费的资源顶,基线用包月。本站支持按天、按月、按季、按年多种周期,短期峰值不必包整月。
三是缩短「等」的时间。数据预处理好放在本地盘、镜像提前做好、调参用小规模采样先跑通流程——这些工程动作不花钱,但能把「等」从几天压到几小时。利用率低往往不是卡的问题,是流程的问题。
五、自购还是租用:把回本算清楚
「买一台是不是更划算」是绕不开的问题。算这笔账要把五项都算进去,只比「设备价 ÷ 月租」会严重低估持有成本。
| 成本项 | 自购(5 年摊销) | 租用 | 说明 |
|---|---|---|---|
| 设备 | 约 40 万元/年 | — | 整机约 200 万元,5 年直线摊销 |
| 机房与电力 | 约 7.5 万元/年 | 含在月租 | 9kW × 720h × 0.7 元 × 1.4,约 6,350 元/月 |
| 带宽 | 约 1.2 万元/年 | 含在月租 | 10G 独享按 1,000 元/月估 |
| 运维人力 | 约 3 万元/年 | 含在月租 | 0.2 人力,按 15 万元/年折算 |
| 备件与维修 | 约 2 万元/年 | 含在月租 | 按设备价 2%/年预留 |
| 合计 | 约 53.7 万元/年 | 45.6 万元/年 | 租金 3.8 万元 × 12 |
自购的年成本反而高于租用,原因是摊销期只有 5 年,而 GPU 的实际经济寿命常短于 5 年——新代际一出,老卡的算力性价比立刻下降。如果把摊销期改成 3 年,自购年成本升到约 70 万元,差距更大。
回本周期的算法:设备价 ÷(月租 − 月持有成本)。以 H100 为例,月租 3.8 万元,月持有成本约(7.5 + 1.2 + 3 + 2)÷ 12 ≈ 1.14 万元,月净省 2.66 万元,200 万 ÷ 2.66 万 ≈ 75 个月,即 6.3 年。这个数字比很多人预期的长。只有两种情况自购更划算:一是设备能用满 5 年以上且接近满载,二是采购价显著低于市场价(如批量集采、国产化补贴)。
还有一个常被忽略的隐性成本:技术迭代风险。2022 年买的 A100,到 2025 年同价位的卡算力已翻数倍,设备还在账上但已不划算。租用的本质是把这部分风险转移给服务商,代价是付一点溢价。对多数企业,这个交换是值的。
六、五个降本动作
① 拉长租期换折扣。按月、按季、按年的单价通常依次递减,长租折扣在行业里常见 5%~15%。如果任务确定要跑 6 个月以上,按年谈比按月续省得更多。注意合同里写清「提前退租的结算方式」,避免业务变化时被全额计费。
② 用足量化与蒸馏。把 FP16 换成 INT8,显存减半、吞吐常有 1.5~2 倍提升,等效于把卡的需求砍掉一半。这是零成本动作,优先做。
③ 把非 GPU 负载分出去。数据清洗、向量化前的文本处理、日志分析这些跑在 CPU 上更便宜。本站 CPU 计算型 ¥1,800/月(128 核)、大内存型 ¥2,600/月(1TB),比用 GPU 机器兼做这些事划算得多。
④ 清退闲置机型。长期低于 20% 利用率的机器直接退。一台 ¥3,800/月的 3090 整机,闲置一年就是 4.56 万元,比很多项目的预算都高。
⑤ 峰值用短周期。促销、发布会、模型上线初期这类几天的峰值,用按天或按小时的资源顶,不要为两周的峰值包一年。
七、报价单要问的五个问题
拿到一份算力租用报价,逐条确认这五项,能避免后续 20% 以上的追加费用:
一问:电费含不含,含多少额度。GPU 整机功率 8~10kW,月电费就是 6,000 元以上。报价含电与不含电差很多,含电的还要问「额度是多少 kW」,超额怎么计。
二问:公网带宽多少,超流量怎么算。整机通常配 10G 独享或按流量计费,训练场景下载数据集会吃掉大量流量。要问清是「带宽包月」还是「按流量计费」。
三问:IP 数量与是否可加。默认常配 1 个 IPv4,多 IP 要额外付费。做多实例或需要独立 IP 的业务要提前确认。
四问:存储是不是本地盘,容量多少。本地 NVMe 与网络存储的性能差一个数量级,训练集放网络存储会拖慢数据加载。本站机型页都标了本地盘配置(如 3.84TB NVMe × 2、7.68TB × 4),报价单上也要写清。
五问:迁移与上架协助是否收费。从其他平台迁过来,涉及数据搬运、环境重建、驱动适配。这部分工作量常被低估,要问清是否包含、超出怎么计费。
八、一张成本测算表的模板
最后给一个可直接套用的表结构,八列足够覆盖多数场景:机型、数量、月租、租期(月)、电费与带宽附加、迁移一次性投入、预期利用率、折算有效卡时成本。前五列从报价单来,第六列按实际工作量估,第七列按历史数据填,第八列用第一节的公式算。
填完之后做一次敏感性检查:把利用率下调 15 个百分点、把租期缩短一半,看总成本变化多少。如果结论会翻转,说明这个决策对假设太敏感,应该先做小规模验证再签长约——这也是租用相对自购的最大好处:可以用一个月的成本去验证判断,而不是用五年的折旧去承担。