R3-03 混合系统:剩余风冷那一部分怎么设计
课程代码 R3-03 · 板块 R 算力中心与液冷 / R3 冷板液冷(Direct-to-Chip) 时长 约 2.5~3.0 小时(6 讲) 适合对象 要为冷板机房配风侧能力的系统岗(主修);需要向业主或运维解释「上了液冷为什么还热」的运维与售前岗(主修,第 5 讲是核心);做机房末端选型与配电的暖通与电气岗(选修,读第 1、2、3 讲即可)。 前置 R1-02 芯片到机柜的功耗谱与热源特征 芯片到机柜的功耗谱与热源特征;R3-01 冷板结构与流道设计 冷板结构与流道设计。⚠ 建议同时具备 R1-03 机房热环境等级与供液温度等级(ASHRAE A 级与 W 级) 机房热环境等级与供液温度等级、R2-01 冷热通道封闭与机房气流组织 冷热通道封闭与机房气流组织的基础;没有也能读,但第 3 讲与第 4 讲的取舍会读得吃力。 本讲义定位 讲师授课蓝本 / 学员自学讲义。本课是核算方法课与评审方法课,不是取值手册——它教你把一个上了冷板液冷的机柜拆成两本必须相加等于总量的热账,按设备的冷板覆盖清单算出风侧真正要承担的份额,并把液侧与风侧两套设计条件放在同一张表上对齐;⛔ 它不给任何可以直接抄进项目的液侧份额、分项功耗或风量取值,那些量随机型、代次与冷板覆盖范围变化极大。
按任务导航
| 你手上的事 | 直接看 | 还要配 |
|---|---|---|
| 机房上了液冷,要决定风侧还配多少能力 | 第 2 讲 2.3:算出你自己的份额 | 第 1 讲 1.4:边界怎么划 |
| 液侧温度流量都正常,机柜却在报高温降频 | 第 5 讲 5.1~5.2:看报警器件的类别 | 图12 排障决策树 |
| 供应商说「液冷带走 80%,风侧按 20% 配就行」 | 第 2 讲 2.4:那个区间为什么不能直接用 | 第 2 讲 2.6:该要哪份清单 |
| 要把送风温度提上去做自然冷却 | 第 4 讲 4.2:提温的两个相反方向 | 第 5 讲 5.3:谁先到限值 |
| 液侧与风侧两份方案书对不上 | 第 3 讲 3.4:两套条件对齐表 | 第 3 讲 3.5:最常掉出来的四条 |
| 要写混合系统的监控点表 | 第 5 讲 5.6:双侧监控清单 | 图11 测点布置 |
| 柜内风扇的账不知道往哪儿记 | 第 1 讲 1.4 + 第 2 讲 2.5 | 图5 风扇两本账 |
| 要主持一次混合系统的设计评审 | 第 6 讲全讲 | 图12、6.4 十条提问 |
| 要判断改造项目的风侧余量够不够 | 第 2 讲 2.3 + 第 6 讲 6.3 | R8-03 新建与改造两条路径的差异 改造路径差异 |
⛔ 本课不覆盖 · 栏一(每样带去向):冷板本体的热阻链、流道形式与压降 → R3-01 冷板结构与流道设计;并联冷板之间的流量分配与均流 → R3-02 二次侧流量分配与并联均流;快接头与盲插 → R3-04 快接头:drip-less、UQD 与盲插 BMQC;CDU 的形态、选型与二次侧解耦 → R5-01 CDU 形态与选型:液-液 / 液-气;二次侧水质、压力与膨胀 → R5-02 二次侧水质、压力与膨胀管理;机房气流组织与冷热通道封闭本体 → R2-01 冷热通道封闭与机房气流组织;风侧末端形式(行级、背板、房间级)的选型 → R2-03 机房风侧末端与送风方式选型;背板/门式换热器这一类「既是风侧末端又用液」的形态 → R2-02 背板/门式换热器(Door HX);供液温度等级与机房热环境等级的定义与分级 → R1-03 机房热环境等级与供液温度等级(ASHRAE A 级与 W 级);自然冷却小时数与气候区 → R6-02 自然冷却小时数与气候区选址;能效指标口径与监管 → R6-03 能效指标体系:PUE / WUE / ERF / REF 的口径与监管;监控系统的架构、告警分级与运行策略本体 → R7-03 监控、告警与运行策略;漏液防护 → R7-01 漏液防护:负压设计、检测与分区隔断;厂商参考架构的逐条解构 → R9-01 NVIDIA 机柜级参考架构解构:GB200 NVL72 与 MGX 的冷却约束。
⛔ 本课不覆盖 · 栏二(真正不给的数):① 任何标准与规范的条款内容、等级取值与限值——本课涉及的数据中心设计规范、液冷系统技术规范与设备厂商参考架构只写「它管什么、在哪一步卡你」,⛔ 未逐条核过原文,编号与版次一律以现行有效目录为准;② 任何具体机型的分项功耗表——内存、供电、网络各占多少随代次、配置与负载类型变化,给一个数就是把本课要反对的那件事自己做一遍;③ 任何具体机房的风侧配置量——它由第 2 讲那套核算产出,不由本课给出。
⚠ 栏二之外的平台相关量(液侧份额、单柜密度、不贴冷板器件的分项占比、柜内风扇占比、两侧的温差与流量),本课照给典型区间与常见值锚点,逐条标注「⚠ 典型值、⛔ 不是验收依据,须实测或按清单核算确认」并写明拿到它的路。汇总表在 1.6。
引言:上了液冷,为什么还热
有一句话,几乎每个做过冷板机房的人都听过:「我们上了液冷,热都由液冷带走了。」
这句话的前半句是事实,后半句是错的。而它错得很隐蔽——因为它在大多数时候看起来是对的:液侧的进液温度正常,流量正常,压降正常,CDU 的仪表盘一片绿色。可机柜在报高温,板卡在降频,运维查了一圈液侧,什么都查不出来。
问题不在液侧。问题在于那部分从来就没有交给液侧的热。
冷板是贴上去的。它贴在主处理器和加速卡上——那是热流密度最高、面积最集中、也最值得为它单独做一套水路的地方。但一块服务器主板上不只有处理器:内存条一排排插着,供电模块把 48 V 或 12 V 降到芯片要的电压、在这个过程中损失掉一部分功率变成热,网卡与光模块在持续发热,硬盘、BMC、时钟、各种小电源同样在发热。这些器件绝大多数没有贴冷板,因为它们分散、矮小、形状各异、单个功率不高——为它们做冷板,代价与收益不成比例。
于是它们的热还走空气。而空气要有人推、有人冷、有人接。
这就是混合系统:同一台设备,同一时刻,两条完全不同的散热路径并行工作,各自有各自的设计条件、各自的余量、各自的失效模式。而在绝大多数项目里,这两条路径是由不同的人、在不同的文件里、按不同的口径定下来的——液侧照着设备厂商的参考架构走,风侧照着机房设计规范走,中间没有一张表把它们对起来。
本课要做的就是那张表,以及产出那张表所需的核算。
全课三根钉子
钉子 A:两本热账相加必须等于设备总产热,⛔ 没有第三个去处。把机柜的产热分成「走液」与「走气」两份,是一条恒等式而不是一个估计。任何一份混合系统方案,都必须能当场回答「这两份各是多少、加起来是不是等于总量、边界怎么划的」。⇒ 第一条可执行动作:拿到任何一个混合系统方案,先要这张分账表;要不出来,后面的风量、末端、冷源全是猜的。
钉子 B:份额必须按设备的冷板覆盖清单核算,⛔ 不许用行业比例代替。公开资料给出的液侧份额是一个区间,不同来源给的数还不一致——它只能用来判量级(「大头在液侧」),⛔ 不能用来定风侧的配置量。⇒ 判断一个混合系统方案可不可评,看它给的份额是算出来的还是引来的;引来的一律退回。
钉子 C:任何一侧单独优化,都可能把另一侧推到不利点。扩大冷板覆盖能减轻风侧负担,但抬高成本与装配复杂度;提高送风温度有利于自然冷却,却直接抬高不贴冷板器件的工作温度;加大液侧流量能降结温,却抬高泵功、计进机房总能耗。⇒ 两套条件必须放在同一张表上一起看,⛔ 不许分头优化再拼起来。
⚠ 反钉子(⛔ 别照做):把「液侧仪表全绿」当成「热管理没问题」。液侧的温度与流量,测量的是已经交给液侧的那部分热走得顺不顺;它对风侧的缺口结构性地看不见——不是精度不够,是根本不在量程里。这个具体的失败过程在〈典型案例详解〉里完整走一遍。
第 1 讲 把一个机柜拆成两本热账
本讲的目标只有一个:让你能在一张纸上,把任意一个上了冷板液冷的机柜,拆成两份相加等于总量的热,并说清边界划在哪儿。这一讲不涉及任何取值,它是后面所有讲的地基。
1.1 冷板贴在哪儿,为什么贴在那儿
冷板不是贴得越多越好,也不是随便贴。决定贴不贴的,实际上是三个条件同时成立:
第一,热流密度高。主处理器与加速卡的热量集中在几平方厘米的封装上,靠空气把它带走需要极高的表面积与风速,代价是巨大的散热器体积和风扇功率。液体的体积比热比空气高三个量级(这个量级差第 2 讲会算一遍),把热交给液体,同样的温升只需要极小的流量通道。
第二,位置固定、形状规整。处理器封装的位置在主板上是确定的,盖板是平的,尺寸是标准的——冷板可以做成一个通用件,靠一套压紧机构装上去。
第三,它是限制性器件。处理器的允许结温直接决定整机能不能跑满频率。偏离设备厂商给的冷却条件,公开资料里的说法是会触发自动降频,性能损失可以很大。也就是说,这一段的冷却与算力是同一件事,⛔ 不是配套设施。
⚠ 上面第三条里「性能损失可以很大」这个说法,公开的厂商参考架构资料里有给出量化描述的(有资料提到性能可掉约六成量级)。⛔ 本课不把它当作可引用的限值——降频曲线随芯片代次、固件版本与具体的温度裕度策略变化,它属于「须以你手上那一代参考架构文件为准」的量。逐条解构见 R9-01 NVIDIA 机柜级参考架构解构:GB200 NVL72 与 MGX 的冷却约束。
反过来看,不满足这三条的器件,就是不贴冷板的那些:
| 器件类 | 为什么不贴 | 它的热去哪儿 |
|---|---|---|
| 内存(DIMM / HBM 之外的板载内存) | 一排多条、散热面窄、高度受限;单条功率不高但条数多 | 空气(部分高密方案有内存冷板,属例外) |
| 供电模块(VRM / 板载 DC-DC / 电源模块) | 分散在主板多处、形状不规整、发热点随负载移动 | 空气 |
| 网络与光模块(网卡、交换芯片、光收发模块) | 光模块是可插拔件,接口位置在面板上,且有自己的温度上限 | 空气 |
| 存储(SSD / HDD 背板) | 分布在前面板托架里,是可热插拔件 | 空气 |
| 管理与辅助电路(BMC、时钟、传感、背板逻辑) | 单点功率极低但数量多、位置散 | 空气 |
| 柜内风扇本体 | 它是推动空气的那个东西,本身也发热 | 空气(且见 1.4 的边界问题) |
⚠ 上表右列写「空气」,⛔ 不代表这些器件在所有方案里都不贴冷板。高密方案里内存冷板、光模块冷板、母线冷板都存在,也有把整块主板做成液冷板卡的形态。这正是为什么份额必须按你这台设备的清单核算,而不能按类别默认。
1.2 「其余全部」到底包含什么
钉子 A 的恒等式写起来只有一行:
Q_风侧 = Q_总 − Q_液侧
它之所以经常算错,不是因为减法难,而是因为三个量各自都有多种口径,而人们常常拿 A 口径的总量减 B 口径的液侧量。
Q_总 有三个常见来源,它们互不相等:
- 铭牌功率 / 最大配置功率——设备厂商标的上限,含所有可选配置装满、所有部件满载。它通常明显高于实际运行功率。用它算,风侧会配得偏大(保守,但贵,且占机柜位)。
- 配电申请值——机房按每柜配电容量批的数。它是一个行政量,与实际发热的关系是「上限约束」,不是「等于」。
- 实测功率——在目标负载类型下跑出来的真实功率。它是最有用的,但在新建项目里拿不到,因为设备还没到。
⇒ 工程做法:新建按铭牌或参考架构给的整机功率做设计,投产后用实测值回算一次分账表并归档;改造项目直接用实测。⛔ 别把三个口径混着用——这是分账表最常见的第一个错。
Q_液侧 也有两个口径:
- 「冷板带走的热」——贴了冷板那些器件产生、并且确实被冷板带走的那部分。
- 「二次侧测出来的热」——用二次侧的流量与进出液温差按
Q = ṁ · c_p · ΔT算出来的量。
这两个数不相等,而且差在一个容易被忽略的方向上:冷板与管路虽然主要与自己贴着的器件换热,但它们同时暴露在机柜内的空气里,会从周围较热的空气中额外吸走一部分热;同时,二次侧管路穿出机柜的那一段又会向机房环境散掉一点。⇒ 二次侧测出来的热,是冷板本职工作加上这些寄生换热的净值。
⚠ 这个差值在多数常规机柜里不是主导项,但它有一个重要的工程含义:如果你用二次侧实测热量反推「风侧还剩多少」,你得到的是一个偏乐观的风侧值——因为一部分本该由风侧带走的空气热,被液侧顺手拿走了,而一旦运行工况变化(比如供液温度提高),这部分会退回给风侧。⇒ 反推法只能用于校核,⛔ 不能用于定容。
1.3 分账的两个方向:自下而上与自上而下
拆两本账有两条路,工程上都要走,然后互相对:
自下而上(逐器件累加):拿设备的分项功耗,把贴冷板的加成一份,不贴的加成另一份。优点是能直接回答「风侧那份由哪些器件组成」,这在第 5 讲的排障里是决定性的。缺点是你得拿得到分项数据——这正是 2.6 要你去要的东西。
自上而下(总量减液侧):拿整机功率减去液侧份额。优点是数据好拿。缺点是它给不出组成——你知道风侧有多少 kW,但不知道这些 kW 挂在哪些器件上,而器件的允许温度各不相同(光模块和内存的上限不是一个数),你没法判断风侧的温度够不够,只能判断容量够不够。
⇒ 纪律:两条路都走,差值超出你能解释的范围就停下来查,⛔ 不许取平均。差值本身是信息——它通常指向某个被漏掉的器件类,或者某个边界划错了(见 1.4)。
1.4 边界怎么划:三个会打架的地方
恒等式成立的前提,是两侧的边界不重不漏。实践中有三个地方每次都要显式约定:
① 柜内风扇算哪一侧?风扇消耗电功率,这些功率最终几乎全部变成柜内空气的热(一小部分变成气流动能,最终也在管路里耗散成热)。所以风扇既是耗电项也是风侧热源。
它必须记两本账:
- 热账:风扇功耗计入
Q_风侧。⛔ 漏掉它,风侧会配小。 - 电账:风扇功耗计入 IT 侧总电耗(它在机柜配电之内),因此影响机房能效指标的分子分母划分——具体口径属主是 R6-03 能效指标体系:PUE / WUE / ERF / REF 的口径与监管。
⚠ 这里有一个容易搞反的地方:上了液冷之后,柜内风扇的转速通常下降(因为最大的热源被移走了),⇒ 风扇功耗随之下降。但这不等于风扇热源项可以忽略——它只是变小了,而风侧的总量也变小了,占比不一定下降。⇒ 照算,⛔ 别默认忽略。
② CDU 的泵功算哪一侧?泵把功加进液体,这部分功最终也变成热,由一次侧带走。它不进机柜的两本热账(因为它不在机柜边界内),但它进机房总冷负荷,也进机房总能耗。⇒ 第 4 讲 4.3 讲流量与泵功的取舍时,看的就是这一项。CDU 侧的口径属主是 R5-01 CDU 形态与选型:液-液 / 液-气。
③ 机柜级配电损耗算哪一侧?柜内电源分配单元、母线、线缆的损耗发生在机柜内部,变成柜内空气的热。⇒ 它计入 Q_风侧。这一项常被漏掉,因为它不属于任何一个「器件」,在分项功耗表里没有自己的行。
⇒ 一条能立刻用的检查:把你的分账表拿给电气岗看一遍。热的账和电的账在机柜这个边界上是同一笔钱的两种记法,电气岗最容易看出你漏了哪一项。
1.5 为什么这件事在液冷上比在风冷上更容易出错
纯风冷机房里,没有人会漏掉内存的热——因为所有热都走同一条路,你按总功率配风量,内存自然被包含在内。分账错误在那里不存在,因为根本没有分账。
液冷把系统劈成两半之后,出现了一个新的失效位置:一份热被划给了它去不了的那一侧。而且这个错误有一个很坏的性质——它在设计阶段完全看不出来。分账表上的数字加起来是对的(因为你是用总量减出来的),液侧的设计校核是对的(因为液侧的量确实是那么多),风侧的设计校核也是对的(因为你按你算出来的那个偏小的数校核了)。所有环节各自自洽,只有把它们放在一起、再对着真实的器件清单看,才会发现风侧那份少了一块。
⇒ 这就是本课把「按清单核算」放到钉子 B 位置的原因:它是唯一能在设计阶段发现这个错误的动作。
1.6 本讲的平台相关量与典型值汇总
下面这张表里的每一行,都是平台相关量:它随机型、代次、配置与负载类型变化,⛔ 没有一个通用的正确值。
⚠ 本表每一行都是典型参考值,⛔ 不是验收依据,须按你这台设备的清单核算或实测确认。给出它们的目的只有一个:让你在拿到自己的数之前,能判断自己的数是不是离谱——落在区间外不一定错,但必须能解释为什么。
| 量 | 典型区间 | 常见值锚点 | 怎么拿到你自己的那个数 |
|---|---|---|---|
| 液侧份额 β = Q_液侧 / Q_总 | 约 60%~80%(⚠ 公开来源不一致,见 2.4) | 约 70% | 按 2.1 的覆盖清单逐器件累加;或向设备厂商索取分项功耗表 |
| 单柜功率密度 | 约 10~130 kW/柜 | 约 30 kW/柜(常被当作「液冷成为必选」的门槛);高密 AI 柜约 120 kW/柜 | 设备规格书的整机功率 × 每柜台数;投产后用配电实测校核 |
| 内存部分占整机功率 | 约 8%~20% | 约 12% | 厂商分项功耗表;或按内存条数 × 单条典型功耗估算并标明是估算 |
| 板载供电与转换损耗占整机功率 | 约 5%~15% | 约 8% | 按各级转换效率逐级累加;效率曲线向电源模块供应商要 |
| 网络与光模块占整机功率 | 约 3%~10% | 约 5% | 按端口数 × 光模块典型功耗;高速率光模块显著更高 |
| 柜内风扇功耗占整机功率 | 约 1%~10%(液冷柜通常落在低端) | 约 4% | 风扇转速-功耗曲线 × 目标工况转速;投产后可从 BMC 读实测 |
| 二次侧供回液温差 ΔT_液 | 约 5~15 K | 约 10 K | 设备厂商参考架构给定;⛔ 不由你自选 |
| 机房送回风温差 ΔT_风 | 约 8~20 K | 约 12 K | 由风侧末端形式与封闭方式决定,属主 R2-01 冷热通道封闭与机房气流组织、R2-03 机房风侧末端与送风方式选型 |
⚠ 再说一遍:上表是典型值,⛔ 不是验收依据,须实测或按清单核算确认。把表里的数直接抄进方案书,就是本课第 2 讲要反对的那件事。
1.7 本讲小结
- 混合系统里同时有两条散热路径,它们的热量之和等于设备总产热,⛔ 没有第三个去处。
Q_总有铭牌、配电、实测三个口径;Q_液侧有「冷板带走」与「二次侧测得」两个口径。⛔ 别混用。- 分账要自下而上与自上而下各做一遍,差值本身是信息,⛔ 不许取平均。
- 边界三处必须显式约定:柜内风扇(热账进风侧、电账进 IT)、柜内配电损耗(进风侧)、CDU 泵功(不进机柜账、进机房账)。
- 液冷比风冷更容易出这类错,因为各环节各自自洽,错误只在合起来看时才现形。
后面还有 5 讲正文 · 关键公式 · 案例拆解 · 常见误区 · 动手做