一、两个功率口径都成立,差别在卡型
在托管报价单上,8 卡 GPU 整机的功率会看到两个数字:4~6kW 和 6~10kW。这不是有人算错了,而是对应两类完全不同的卡型。
| 类别 | 典型卡型定位 | 单卡 TDP 区间 | 8 卡合计 | 整机满载估算 |
|---|---|---|---|---|
| 中功耗卡 | 推理卡、图形卡、部分国产卡 | 约 350~450W | 2.8~3.6kW | 4~6kW |
| 高功耗卡 | SXM 形态训练卡 | 约 700W | 5.6kW | 6~10kW |
为什么整机比分卡合计高出一截?因为一台 8 卡服务器里,除了 GPU 还有三块用电的东西:双路 CPU(约 400~600W)、内存与硬盘(约 150~300W)、风扇(8~12 个高转速风扇,满载约 100~200W)。这些加起来 0.7~1.1kW,再考虑电源转换损耗(钛金电源效率约 96%,即损耗 4%),整机功率通常比分卡合计高 15%~25%。
这就是为什么「8 卡 × 700W = 5.6kW」不能直接当作报电力的数字。按 6.5~7kW 估算更接近实际,若按峰值再加 20%,实际需要申请 7.5kW 左右的电力额度。一台机器如此,4 台就是 30kW——已经超过多数普通机柜的承载能力(节点参数里单柜最大 12kW)。
二、把功率换成钱:三种折算口径
客户最关心的不是 kW,是「一个月多少电费」。同一台机器有三种折算方式,看哪个更贴近决策场景。
计费公式与普通托管一致:月电费 ≈ 功率(kW) × 720 小时 × 电价(元/度) × PUE。按站内一贯的测算口径(0.7 元/度、PUE 1.4),一台 8kW 的 8 卡整机月电费约 5,645 元。
| 折算口径 | 计算方式 | 结果 | 适用场景 |
|---|---|---|---|
| 按月 | 8 × 720 × 0.7 × 1.4 | 约 ¥5,645/月 | 预算编制、长约比价 |
| 按卡 | 5,645 ÷ 8 | 约 ¥706/卡/月 | 多机型横向对比 |
| 按小时 | 5,645 ÷ 720 | 约 ¥7.84/小时 | 与按小时租用比价 |
「按小时」这个口径最容易被忽略,但它在做「自购托管 vs 按需租用」决策时最有用。自购托管的电力成本是固定的——机器开着就烧电,不管有没有任务;按小时租用则只在跑任务时付费。如果一台机器的利用率只有 30%,自购托管的电力成本摊到有效算力小时上会翻 3 倍多。这也是为什么很多团队选择「核心业务自购 + 峰值任务按需租」的混合模式。
还有一项常被漏算:待机功耗。8 卡整机待机约 400~600W,一天 24 小时开着,一个月就是 288~432 度电,折合 280~430 元。机器不跑任务也不关机,这笔钱照付。做长期成本模型时,待机功耗要单独列一行。
三、峰值:训练启动那一秒最危险
GPU 的功耗曲线不是平的。待机 500W,任务启动后 2~3 秒内拉到 6kW,训练过程中的波动还有 ±10%。更麻烦的是「同时启动」——4 台机器在同一秒开始训练,峰值会叠加。
如果机柜电力按平均值配,结果就是过载保护动作。轻则 PDU 跳闸,重则整柜断电,训练任务全部丢失。这类事故在机房侧有明确的规避方法:按实测峰值 × 1.2~1.3 报电力。以 4 台整机、单台峰值 8kW 为例,报 8 × 4 × 1.25 = 40kW,而不是 32kW 或按额定的 40kW(额定虽同为 40kW,但没有考虑业务增长与单路故障时的全额承载)。
另一个技术手段是错峰启动。批量任务提交时加随机延迟(比如 0~120 秒),避免所有机器同时拉满。这一条不需要额外成本,但对峰值的影响立竿见影——4 台机器错开启动,机柜峰值从 32kW 降到 10kW 以内。实现方式很简单:任务脚本开头加一句 sleep $((RANDOM % 120)),或用调度器(Slurm / Kubernetes)的启动限流参数。
四、散热:风冷的天花板在哪里
电力解决了「供得上」,散热解决「稳得住」。GPU 机柜的散热能力取决于三件事:单柜功率密度、机房送风方式、机柜内的风道组织。
风冷的舒适区:单柜 8kW 以内。这个密度下,机房级精密空调 + 冷热通道封闭 + 机柜盲板,能把进风温度稳定在 22~25℃,GPU 温度在 70℃ 上下,不触发降频。多数中功耗卡的 8 卡整机(4~6kW)落在这个区间。
风冷的临界区:8~15kW。这个密度需要高密柜——更宽(800mm)、更深(1200mm)、更高转速的风扇,配合更低的送风温度(18~20℃)。我们的节点参数里,部分高密柜按 8~15kW 设计、单柜最大 12kW,就是为这个区间准备的。代价是风扇功耗上升(额外 0.5~1kW/柜)与噪音变大。
风冷的失效区:15kW 以上。纯风冷很难在这个密度下稳定运行,通常要上冷板式液冷——把冷板直接贴在 GPU 与 CPU 上,用循环冷却液带走 70%~80% 的热量,剩余部分仍由风冷处理。液冷不是「高级选项」,是密度逼出来的必然选择。它对托管方提出的要求也更高:需要液冷 CDU、管路、漏液检测,机柜也要专门设计。
| 散热方式 | 适用单柜密度 | 进风温度 | 典型场景 |
|---|---|---|---|
| 常规风冷 | ≤8kW | 22~25℃ | 中功耗卡 8 卡整机、推理集群 |
| 高密风冷 | 8~15kW | 18~20℃ | 高功耗卡 8 卡整机、双机小集群 |
| 冷板液冷 | 15kW 以上 | — | 多机高密集群、超算/AIDC |
一个容易被忽略的细节:机柜内的风道组织比空调能力更重要。同样 8kW 的机柜,装了盲板、前后密封、冷热通道封闭的,和空 U 位全敞开的,进风温度能差 5℃。5℃ 在 GPU 上就是「降频」与「不降频」的分界。所以上架时那几十块盲板不是装修,是性能保障。
监控要装两道。第一道是机柜级:PDU 分路电流、机柜进风与回风温度,这些由机房侧采集,客户应要求开通查看权限。第二道是设备级:GPU 温度、功耗、时钟频率、显存占用,由客户侧通过 DCGM 或 nvidia-smi 采集。两道监控的用途不同——机柜级发现「环境不对」,设备级发现「卡不对」。只有设备级监控的话,热点已经形成才会看到温度上升;只有机柜级的话,知道机柜过热但不知道是哪台机器。
告警阈值建议这样设:机柜进风温度超过 27℃ 告警(说明制冷或风道有问题)、GPU 温度超过 80℃ 告警(留出 5~10℃ 的处置时间)、单卡持续降频超过 5 分钟告警(说明已经影响算力)。三条阈值都不需要复杂系统,Zabbix 或 Prometheus 加几条规则即可。
五、降频:看不见的算力损失
GPU 保护机制是温度触发的。核心温度接近上限(不同卡型在 83~90℃ 区间)时,驱动会自动降频——先把核心频率降下来,再不行降显存频率,最严重时直接关机保护。这个过程对使用者是完全无感的:任务还在跑,只是变慢了。
变慢多少?取决于降频幅度。轻度降频(核心频率降 10%)通常带来 5%~10% 的性能损失;严重降频(降到基础频率以下)可能损失 30% 以上。对一个跑 7 天的训练任务,30% 意味着多花 2 天——这两天多出来的电力、机位、人力成本,远超「省下一个高密柜」的差价。
判断是否在降频,看三个指标:nvidia-smi 里的温度与时钟频率是否低于标称、nvidia-smi -q -d PERFORMANCE 里的降频原因(Thermal / Power / Utilization)、以及实际训练吞吐(tokens/s 或 samples/s)与基准值的偏差。三项要一起看,只看温度容易误判——有些卡在 75℃ 就开始降频,有些能撑到 85℃。
反过来,如果电力额度紧张,主动降功耗是划算的:nvidia-smi -pl 把单卡功耗上限从 700W 压到 500W,整机功耗下降约 25%,实测对多数训练任务的吞吐影响在 5%~15%(取决于任务的算力/带宽比)。用 10% 的算力换 25% 的电力空间,在机柜电力不够时是最优解。
六、PUE 与选址:同一台机器,电费差多少
PUE 是乘在总功耗上的系数,对 GPU 这种高功率设备,它的影响被放大得更明显。
以 8kW 整机为例,按 0.7 元/度测算:PUE 1.25 时月电费 5,040 元,PUE 1.39 时 5,605 元,PUE 1.5 时 6,048 元。三者的极差 1,008 元/月,一年 12,096 元。如果是一个 4 机 32 卡的集群(32kW),年差额直接到 4.8 万元。
我们的节点参数里能看到这个梯度:深圳光明与东莞旗峰 PUE 低于 1.25(金融定制高等级机房),中原大数据中心 PUE 1.39,南沙与长沙等节点低于 1.5。选址时如果业务对时延不敏感(离线训练、批处理),优先选 PUE 低的节点,一年省下的电费够买一台交换机。
但 PUE 不能单独看。低 PUE 的机房往往位置在一线城市,带宽与机位单价更高;中西部节点 PUE 略高,但电价与机位费更低。真正的比较方式是算「总拥有成本」:机位费 + 电费 + 带宽费 + 跨区访问的时延成本(如果业务对时延敏感,还要加上用户体验损失)。这一层算下来,答案经常与「只看 PUE」相反。
电源侧还有一个容易出错的地方:接口与相序。8 卡整机通常配 2~4 个 2000W 级电源,电源线多为 C19 或大电流国标插头,普通 C13 PDU 插不进去。整柜层面,20kW 以上的负载基本都要三相 380V 输入,柜内再分配到三排单相 PDU。这时要注意三相平衡——如果所有设备都插在同一相上,那一相过载、另两相空闲,整柜的可用容量反而被拉低到 1/3。上架时按「设备功率 × 1/3」分配到三相,是最省事也最容易被忽略的一步。
读数口径也要问清:PDU 显示的是单相电流还是三相合计、是瞬时值还是平均值、有没有历史曲线可查。这三种口径在对账时能差出 10% 以上,尤其是训练任务的功率波动大,只看瞬间截图很容易高估或低估。
七、报电力时的五项必填
给机房报电力,信息不全就会被退回重算。以下五项建议一次给全。
| 项目 | 需要填什么 | 缺失后果 |
|---|---|---|
| 卡型与数量 | 具体型号 × 张数,单卡 TDP | 按错卡型估算,功率偏低 30% 以上 |
| 整机型号与电源 | 机型、电源数量与额定功率、接口类型 | PDU 接口不匹配,现场返工 |
| 实测峰值 | 训练峰值功率(有监控则给曲线) | 只能按额定保守估,可能多付 30% 电费 |
| 机柜形态 | 单机位 / 整柜 / 多柜,几台一柜 | 电力额度与柜型不匹配 |
| 增长预期 | 12 个月内计划增加的机器数 | 二次扩容要移机,产生停机窗口 |
把这五项填完,机房就能给出准确的功率核算表与报价。反向验证也很简单:拿报价单上的电力额度,除以机器台数,看单台分到多少 kW。如果一台 8 卡高功耗整机只分到 5kW,那这份报价在满载时一定会出问题——不是跳闸,就是被迫降功耗跑。
这个校验还有一层用法:把报价单上的电费除以电力额度,得到「每 kW 的月成本」,不同机房的报价就能横向比了。同样 8kW 额度,A 机房月电费 5,645 元、B 机房 6,048 元,差的不是电价就是 PUE——问清是哪一个,谈判才有落点。