一、两个功率口径都成立,差别在卡型

在托管报价单上,8 卡 GPU 整机的功率会看到两个数字:4~6kW 和 6~10kW。这不是有人算错了,而是对应两类完全不同的卡型。

两类 8 卡整机的功率区间(单卡 TDP 取厂商公开规格,整机为估算值,实际以铭牌与实测为准)
类别典型卡型定位单卡 TDP 区间8 卡合计整机满载估算
中功耗卡推理卡、图形卡、部分国产卡约 350~450W2.8~3.6kW4~6kW
高功耗卡SXM 形态训练卡约 700W5.6kW6~10kW

为什么整机比分卡合计高出一截?因为一台 8 卡服务器里,除了 GPU 还有三块用电的东西:双路 CPU(约 400~600W)、内存与硬盘(约 150~300W)、风扇(8~12 个高转速风扇,满载约 100~200W)。这些加起来 0.7~1.1kW,再考虑电源转换损耗(钛金电源效率约 96%,即损耗 4%),整机功率通常比分卡合计高 15%~25%。

这就是为什么「8 卡 × 700W = 5.6kW」不能直接当作报电力的数字。按 6.5~7kW 估算更接近实际,若按峰值再加 20%,实际需要申请 7.5kW 左右的电力额度。一台机器如此,4 台就是 30kW——已经超过多数普通机柜的承载能力(节点参数里单柜最大 12kW)。

二、把功率换成钱:三种折算口径

客户最关心的不是 kW,是「一个月多少电费」。同一台机器有三种折算方式,看哪个更贴近决策场景。

计费公式与普通托管一致:月电费 ≈ 功率(kW) × 720 小时 × 电价(元/度) × PUE。按站内一贯的测算口径(0.7 元/度、PUE 1.4),一台 8kW 的 8 卡整机月电费约 5,645 元。

8 卡整机(按 8kW 计)的三种成本折算(0.7 元/度、PUE 1.4 测算)
折算口径计算方式结果适用场景
按月8 × 720 × 0.7 × 1.4约 ¥5,645/月预算编制、长约比价
按卡5,645 ÷ 8约 ¥706/卡/月多机型横向对比
按小时5,645 ÷ 720约 ¥7.84/小时与按小时租用比价

「按小时」这个口径最容易被忽略,但它在做「自购托管 vs 按需租用」决策时最有用。自购托管的电力成本是固定的——机器开着就烧电,不管有没有任务;按小时租用则只在跑任务时付费。如果一台机器的利用率只有 30%,自购托管的电力成本摊到有效算力小时上会翻 3 倍多。这也是为什么很多团队选择「核心业务自购 + 峰值任务按需租」的混合模式。

还有一项常被漏算:待机功耗。8 卡整机待机约 400~600W,一天 24 小时开着,一个月就是 288~432 度电,折合 280~430 元。机器不跑任务也不关机,这笔钱照付。做长期成本模型时,待机功耗要单独列一行。

三、峰值:训练启动那一秒最危险

GPU 的功耗曲线不是平的。待机 500W,任务启动后 2~3 秒内拉到 6kW,训练过程中的波动还有 ±10%。更麻烦的是「同时启动」——4 台机器在同一秒开始训练,峰值会叠加。

如果机柜电力按平均值配,结果就是过载保护动作。轻则 PDU 跳闸,重则整柜断电,训练任务全部丢失。这类事故在机房侧有明确的规避方法:按实测峰值 × 1.2~1.3 报电力。以 4 台整机、单台峰值 8kW 为例,报 8 × 4 × 1.25 = 40kW,而不是 32kW 或按额定的 40kW(额定虽同为 40kW,但没有考虑业务增长与单路故障时的全额承载)。

另一个技术手段是错峰启动。批量任务提交时加随机延迟(比如 0~120 秒),避免所有机器同时拉满。这一条不需要额外成本,但对峰值的影响立竿见影——4 台机器错开启动,机柜峰值从 32kW 降到 10kW 以内。实现方式很简单:任务脚本开头加一句 sleep $((RANDOM % 120)),或用调度器(Slurm / Kubernetes)的启动限流参数。

冗余的三个场景:一是业务增长(今年 4 台、明年 6 台);二是单路故障(A 路 PDU 故障时 B 路要承担全额);三是制冷联动(功率密度上去后,如果制冷跟不上,设备会因进风温度过高而降频)。三者只要有任何一个成立,就不该把电力额度卡到刚好。

四、散热:风冷的天花板在哪里

电力解决了「供得上」,散热解决「稳得住」。GPU 机柜的散热能力取决于三件事:单柜功率密度、机房送风方式、机柜内的风道组织。

风冷的舒适区:单柜 8kW 以内。这个密度下,机房级精密空调 + 冷热通道封闭 + 机柜盲板,能把进风温度稳定在 22~25℃,GPU 温度在 70℃ 上下,不触发降频。多数中功耗卡的 8 卡整机(4~6kW)落在这个区间。

风冷的临界区:8~15kW。这个密度需要高密柜——更宽(800mm)、更深(1200mm)、更高转速的风扇,配合更低的送风温度(18~20℃)。我们的节点参数里,部分高密柜按 8~15kW 设计、单柜最大 12kW,就是为这个区间准备的。代价是风扇功耗上升(额外 0.5~1kW/柜)与噪音变大。

风冷的失效区:15kW 以上。纯风冷很难在这个密度下稳定运行,通常要上冷板式液冷——把冷板直接贴在 GPU 与 CPU 上,用循环冷却液带走 70%~80% 的热量,剩余部分仍由风冷处理。液冷不是「高级选项」,是密度逼出来的必然选择。它对托管方提出的要求也更高:需要液冷 CDU、管路、漏液检测,机柜也要专门设计。

三种散热方式与适用密度(示意,实际以机房设计与实测为准)
散热方式适用单柜密度进风温度典型场景
常规风冷≤8kW22~25℃中功耗卡 8 卡整机、推理集群
高密风冷8~15kW18~20℃高功耗卡 8 卡整机、双机小集群
冷板液冷15kW 以上—多机高密集群、超算/AIDC

一个容易被忽略的细节:机柜内的风道组织比空调能力更重要。同样 8kW 的机柜,装了盲板、前后密封、冷热通道封闭的,和空 U 位全敞开的,进风温度能差 5℃。5℃ 在 GPU 上就是「降频」与「不降频」的分界。所以上架时那几十块盲板不是装修,是性能保障。

监控要装两道。第一道是机柜级:PDU 分路电流、机柜进风与回风温度,这些由机房侧采集,客户应要求开通查看权限。第二道是设备级:GPU 温度、功耗、时钟频率、显存占用,由客户侧通过 DCGM 或 nvidia-smi 采集。两道监控的用途不同——机柜级发现「环境不对」,设备级发现「卡不对」。只有设备级监控的话,热点已经形成才会看到温度上升;只有机柜级的话,知道机柜过热但不知道是哪台机器。

告警阈值建议这样设:机柜进风温度超过 27℃ 告警(说明制冷或风道有问题)、GPU 温度超过 80℃ 告警(留出 5~10℃ 的处置时间)、单卡持续降频超过 5 分钟告警(说明已经影响算力)。三条阈值都不需要复杂系统,Zabbix 或 Prometheus 加几条规则即可。

五、降频:看不见的算力损失

GPU 保护机制是温度触发的。核心温度接近上限(不同卡型在 83~90℃ 区间)时,驱动会自动降频——先把核心频率降下来,再不行降显存频率,最严重时直接关机保护。这个过程对使用者是完全无感的:任务还在跑,只是变慢了。

变慢多少?取决于降频幅度。轻度降频(核心频率降 10%)通常带来 5%~10% 的性能损失;严重降频(降到基础频率以下)可能损失 30% 以上。对一个跑 7 天的训练任务,30% 意味着多花 2 天——这两天多出来的电力、机位、人力成本,远超「省下一个高密柜」的差价。

判断是否在降频,看三个指标:nvidia-smi 里的温度与时钟频率是否低于标称、nvidia-smi -q -d PERFORMANCE 里的降频原因(Thermal / Power / Utilization)、以及实际训练吞吐(tokens/s 或 samples/s)与基准值的偏差。三项要一起看,只看温度容易误判——有些卡在 75℃ 就开始降频,有些能撑到 85℃。

反过来,如果电力额度紧张,主动降功耗是划算的:nvidia-smi -pl 把单卡功耗上限从 700W 压到 500W,整机功耗下降约 25%,实测对多数训练任务的吞吐影响在 5%~15%(取决于任务的算力/带宽比)。用 10% 的算力换 25% 的电力空间,在机柜电力不够时是最优解。

六、PUE 与选址:同一台机器,电费差多少

PUE 是乘在总功耗上的系数,对 GPU 这种高功率设备,它的影响被放大得更明显。

以 8kW 整机为例,按 0.7 元/度测算:PUE 1.25 时月电费 5,040 元,PUE 1.39 时 5,605 元,PUE 1.5 时 6,048 元。三者的极差 1,008 元/月,一年 12,096 元。如果是一个 4 机 32 卡的集群(32kW),年差额直接到 4.8 万元。

我们的节点参数里能看到这个梯度:深圳光明与东莞旗峰 PUE 低于 1.25(金融定制高等级机房),中原大数据中心 PUE 1.39,南沙与长沙等节点低于 1.5。选址时如果业务对时延不敏感(离线训练、批处理),优先选 PUE 低的节点,一年省下的电费够买一台交换机。

但 PUE 不能单独看。低 PUE 的机房往往位置在一线城市,带宽与机位单价更高;中西部节点 PUE 略高,但电价与机位费更低。真正的比较方式是算「总拥有成本」:机位费 + 电费 + 带宽费 + 跨区访问的时延成本(如果业务对时延敏感,还要加上用户体验损失)。这一层算下来,答案经常与「只看 PUE」相反。

电源侧还有一个容易出错的地方:接口与相序。8 卡整机通常配 2~4 个 2000W 级电源,电源线多为 C19 或大电流国标插头,普通 C13 PDU 插不进去。整柜层面,20kW 以上的负载基本都要三相 380V 输入,柜内再分配到三排单相 PDU。这时要注意三相平衡——如果所有设备都插在同一相上,那一相过载、另两相空闲,整柜的可用容量反而被拉低到 1/3。上架时按「设备功率 × 1/3」分配到三相,是最省事也最容易被忽略的一步。

读数口径也要问清:PDU 显示的是单相电流还是三相合计、是瞬时值还是平均值、有没有历史曲线可查。这三种口径在对账时能差出 10% 以上,尤其是训练任务的功率波动大,只看瞬间截图很容易高估或低估。

七、报电力时的五项必填

给机房报电力,信息不全就会被退回重算。以下五项建议一次给全。

GPU 托管报电力的五项信息与常见缺失
项目需要填什么缺失后果
卡型与数量具体型号 × 张数,单卡 TDP按错卡型估算,功率偏低 30% 以上
整机型号与电源机型、电源数量与额定功率、接口类型PDU 接口不匹配,现场返工
实测峰值训练峰值功率(有监控则给曲线)只能按额定保守估,可能多付 30% 电费
机柜形态单机位 / 整柜 / 多柜,几台一柜电力额度与柜型不匹配
增长预期12 个月内计划增加的机器数二次扩容要移机,产生停机窗口

把这五项填完,机房就能给出准确的功率核算表与报价。反向验证也很简单:拿报价单上的电力额度,除以机器台数,看单台分到多少 kW。如果一台 8 卡高功耗整机只分到 5kW,那这份报价在满载时一定会出问题——不是跳闸,就是被迫降功耗跑。

这个校验还有一层用法:把报价单上的电费除以电力额度,得到「每 kW 的月成本」,不同机房的报价就能横向比了。同样 8kW 额度,A 机房月电费 5,645 元、B 机房 6,048 元,差的不是电价就是 PUE——问清是哪一个,谈判才有落点。