CNCNC 信息港 · 郑州中科信息技术有限公司|成立 2004 年 4 月,22 年 IDC 行业经验
费用测算

8 卡 GPU 托管,一个月多少钱

GPU 托管的账不能按台算,要按功率算。同一台机器,电费能占到总费用的六成以上,而电费取决于功率、电价和 PUE 三个数,不取决于你占几个 U。

6~10kW8 卡整机功率
0.7 元电价参考
1.4PUE 参考
7,056 元10kW 月电费

8 卡 GPU 服务器托管,一个月大概多少钱?

以 8 卡 H100 整机 10kW 为例:电费按 0.7 元/度、PUE 1.4 计算约 7,056 元/月;机柜费按高密整柜另计;带宽按训练集群需求单独核算;如需代维再加服务包。所以一台 8 卡整机的托管月支出,通常落在 1 万~2 万元区间,其中电费是最大变量。8 卡 A100 约 6~8kW,电费约 4,200~5,600 元/月。

  • 电费公式:功率 × 720h × 电价 × PUE
  • 8 卡 H100 整机约 8~10kW,A100 约 6~8kW
  • PUE 从 1.4 到 1.6,一年电费差近万元
  • 训练启动瞬时峰值上冲 20%,电力要留余量
  • 自购托管 / 租用 / 公有云,三方成本结构完全不同
构成

费用由五项构成,电费是主变量

费用项计费口径占比量级
机柜租金按整柜 / 按月,高密柜另计中
电力按包电额度或实际电流高(常占六成以上)
网络按带宽与线路,训练集群要求高中
代维按服务包,可选低
其他额外 IP、独立 VLAN、专线接入低

普通 1U 服务器托管,机位费可能比电费高;GPU 托管恰好反过来——机柜费相对固定,电费随功率线性增长,一台 8 卡机就能吃掉一个普通机柜的全部电力额度。

电费

五档功率电费测算

口径:功率 × 720 小时 × 0.7 元/度 × PUE 1.4。实际电价与 PUE 以机房所在地与当期政策为准。
机柜功率月耗电量月电费参考典型场景
6 kW4,320 kWh¥4,234单台 8 卡整机,入门训练
8 kW5,760 kWh¥5,6458 卡 H100 / A100 整机满载
10 kW7,200 kWh¥7,0568 卡 H100 高负载 + 网络与存储
12 kW8,640 kWh¥8,467双机 16 卡小集群
20 kW14,400 kWh¥14,112多机集群或超高密机柜
一个容易踩的坑:8 卡 H100 整机标称 8~10kW,但训练启动瞬间峰值可能上冲 20% 以上。如果按平均值配电力,高峰期容易触发过载保护。建议按峰值再加 20% 余量报电力。
PUE

电价与 PUE 的谈法

PUE 是机房总能耗与 IT 设备能耗的比值,1.4 意味着你每用 1 度电,机房额外消耗 0.4 度用于制冷与配电损耗。这个系数直接乘在你的电费上。

同样的 8kW 负载,PUE 差 0.2 的年度差额。
PUE月电费年电费与 1.4 的差额
1.2(液冷/自然冷却)¥4,838¥58,060省 ¥9,800
1.4(主流高效机房)¥5,645¥67,742基准
1.6(普通机房)¥6,452¥77,424多 ¥9,682

所以谈托管时必须问清三件事:PUE 是按多少算的、电费是按实际电流还是包电额度、超额度部分怎么计价。这三项在满载场景下的差价可能超过 30%。

另外,电价本身有地域差。宁夏、内蒙等西部节点的电价通常低于东部,这也是算力集群向西部集中的原因之一。同样的功率,电价差 0.2 元/度,一台 10kW 机器一年就差 1.7 万元。

对比

自购托管 / 租用 / 公有云,三方对比

以 8 卡 H100 为口径。自购价格为市场量级参考,租用为站内公示参考价。
维度自购 + 托管整机租用公有云按需
首次投入约 240 万起(整机)00
月度支出电费 + 机柜 + 带宽,约 1~2 万38,000 元起按卡时计费,随用量波动
三年总成本约 300 万+约 137 万取决于利用率,通常更高
弹性无,买了就在那按月调整分钟级,最强
硬件迭代自己承担贬值服务商承担云厂商承担
运维责任客户侧为主服务商负责硬件云厂商全包

结论:8 卡这个规模,租用几乎全面优于自购——三年省下 160 万以上,还不用承担显卡贬值。公有云的优势在弹性,但长期满载运行的单价通常高于整机租用,适合波峰补充而不是常态承载。

什么时候自购反而合理:已有 20 台以上 GPU 集群、有专职运维团队、且业务确定连续运行四年以上。这时自购的边际成本才低于租用。单台或几台的规模,自购很难算得过账。
代维

代维与 SLA 值不值

GPU 托管的故障响应比普通托管更关键:一张卡掉线,整个训练任务可能中断;一次误重启,几天的训练成果作废。所以代维包值不值,要看你的团队有没有人能第一时间到现场。

服务项机房侧客户侧
电力与制冷双路市电、UPS、柴发、精密空调或液冷设备电源模块与功耗合规
硬件故障协助定位、提供更换场地与工时备件采购与厂商保修
重启与带外按工单协助,7×24 响应启用 IPMI / BMC 并授权
驱动与框架不介入CUDA / 驱动 / 框架版本与调优
监控告警机房环境、电力与网络GPU 温度、显存、训练任务

具体响应时效、赔付条款与责任划分以双方签署的服务协议为准。

物理

高密机柜的物理约束

8 卡 GPU 整机不是「塞进机柜就行」,有三个物理约束必须先确认:

一、承重。一台 8 卡整机重量可达 40~60kg,普通机柜的层板承重通常按 50kg 设计。多台叠放需要加强层板或落地式安装。

二、散热。10kW 以上的单柜功率密度,传统风冷机柜难以稳定压制,通常需要冷热通道封闭、背板空调或液冷方案。这也是高密机柜价格高于普通机柜的原因。

三、PDU 与接口。GPU 整机多为双电源,接同一个 PDU 等于没有冗余。上架时要确认 A/B 两路分别接入,并核对接口类型(国标 / C13 / C19)与电流额度。

本文电费为按公式推算的参考值,机柜与带宽费用需按机房位置、功率密度与线路方案单独报价,最终以正式报价单为准。
FAQ

GPU 托管的八个实际问题

8 卡 GPU 服务器托管一个月多少钱?

以 10kW 为例,电费约 7,056 元/月(0.7 元/度、PUE 1.4),加上高密机柜费、带宽与可选代维,整体通常落在 1 万~2 万元/月。8 卡 A100 功率低一些,约 6~8kW,电费 4,200~5,600 元/月。

GPU 托管的电费怎么算?

公式是「功率 × 720 小时 × 电价 × PUE」。以 8kW、0.7 元/度、PUE 1.4 为例:8 × 720 × 0.7 × 1.4 ≈ 5,645 元/月。谈的时候要确认 PUE 口径与是否按实际电流计费。

PUE 1.4 和 1.6 差多少?

同样 8kW 负载,PUE 1.4 月电费约 5,645 元,1.6 约 6,452 元,一年差约 9,700 元。功率越大差距越大,20kW 柜一年能差 2.4 万元。

为什么高密机柜比普通机柜贵?

因为 10kW 以上的单柜功率密度需要冷热通道封闭、背板空调或液冷,还要加强层板承重、配置更大容量的 PDU。这些物理改造成本会摊到机柜租金里。

8 卡整机能放进标准 42U 机柜吗?

物理上能,但要确认三件事:层板承重(整机可能 40~60kg)、散热能力(10kW 以上需高密方案)、PDU 接口与电流额度。普通风冷机柜在 10kW 以上容易过热降频。

自购 8 卡 GPU 托管划算吗?

单台或几台通常不划算。整机采购 240 万起,加上三年托管与电费约 60 万,总成本 300 万以上;同规格租用三年约 137 万。除非有 20 台以上规模、专职运维和四年以上确定需求,否则租用更优。

训练时功率峰值会不会超?

会。8 卡 H100 标称 8~10kW,训练启动瞬间峰值可能上冲 20% 以上。按平均值配电力容易触发过载保护,建议按峰值再加 20% 余量报电力额度。

托管能不能只租机柜,电力自己算?

机柜与电力通常一起计费,因为电力容量是机房的稀缺资源。部分机房提供包电额度 + 超额计费的模式,适合功率波动大的场景,具体口径需要单独谈。

报你的卡型和台数,我算电费与整柜方案

含功率核算、电费测算、高密机柜可行性判断,以及自购托管与租用的三年对比。

在线询价

告诉我们你的需求,工程师直接对接

提交后由对应产品线的工程师联系,提供资源清单与报价区间。电话与信息仅用于本次咨询对接,不做他用。

  • 2 小时内响应(工作日)
  • 提供多方对比的选型建议
  • 可开具资质文件与正规发票
热线 0371-65111123

提交即表示同意我们通过电话、邮件或企业微信与您联系;点击提交将为你打开企业微信顾问,便于直接发送需求与截图。

企业微信
咨询
在线
询价
电话
咨询