R4-01 单相浸没:槽体、循环与维护性
课程代码 R4-01 · 板块 R 算力中心与液冷 / R4 浸没冷却 时长 约 2.5~3.0 小时(6 讲) 适合对象 要评估浸没方案可行性的系统岗与项目岗(主修);要判断「我们能不能运维得了」的运维负责人(主修);负责机房建筑与承重条件的设施岗(选修,读第 5、6 讲);设备采购与保修条款的商务岗(选修,读 5.5 与 6.5)。 前置 R1-01 从整车热管理迁移到机柜热管理:什么变了、什么没变 从整车热管理迁移到机柜热管理;R3-01 冷板结构与流道设计 冷板结构与流道设计(本课第 1 讲直接复用它的串联热阻分解);A1-02 对流换热:自然对流、强制对流与换热系数估算 对流换热:自然对流、强制对流与换热系数估算。⚠ 体系外前置需自备:会看机房建筑的承重分区图与吊装净高,会读一份液体的物性表与相容性清单。 本讲义定位 讲师授课蓝本 / 学员自学讲义。本课是可行性评估课,⛔ 不是槽体设计课。它教你把「这个项目能不能上单相浸没」拆成三层依次收紧的判据:热学上成不成立(第 1 讲)、系统与液体管理配不配得齐(第 2~4 讲)、运维与机房接不接得住(第 5~6 讲)。⛔ 它不给「多少千瓦以上该上浸没」这类门槛——那个数不存在于行业里,它存在于你这间机房的承重、吊装净高与运维班组的能力里。
按任务导航
| 你手上的事 | 直接看 | 还要配 |
|---|---|---|
| 有人说「浸没热阻低」,你要说清低在哪一段、低多少 | 第 1 讲 1.2~1.4 | 图1、图2 |
| 要向决策层解释浸没和冷板的本质差别 | 第 1 讲 1.5~1.7 | 图2 |
| 要画一张单相浸没的系统构成图并说清每部分职责 | 第 2、3 讲 | 图3、图4 |
| 要估一个槽需要多大循环量 | 第 3 讲 3.4~3.6 | 图6、〈关键公式详解〉 |
| 要判断液体管理这套工作我们有没有人做 | 第 4 讲 | 图7 |
| 要走一遍取件流程看运维班组接不接得住 | 第 5 讲 5.1~5.4 | 图8、〈典型案例详解〉 |
| 要列一张「设备上哪些东西不能进液体」的检查表 | 第 5 讲 5.5~5.7 | 图9 |
| 要估既有机房改浸没要动多少项 | 第 6 讲 6.1~6.4 | 图10 |
| 要出一份能签字的可行性判定书 | 第 6 讲 6.5~6.7 | 图11 |
| 领导问「浸没是不是液冷的终点」 | 第 1 讲 1.7、〈常见误区〉误区一 | 第 6 讲 6.6 |
⛔ 本课不覆盖 · 栏一(每样带去向):两相浸没的沸腾换热、冷凝回收与压力管理 → R4-02 两相浸没:沸腾换热、冷凝回收与压力管理;浸没工质的化学分类、材料相容性判定方法与法规走向 → R4-03 浸没工质与材料相容性、法规走向;冷板本体结构与流道 → R3-01 冷板结构与流道设计;二次侧并联均流 → R3-02 二次侧流量分配与并联均流;混合系统里风侧份额怎么分账 → R3-03 混合系统:剩余风冷那一部分怎么设计;快接头与盲插 → R3-04 快接头:drip-less、UQD 与盲插 BMQC;分配单元形态与选型 → R5-01 CDU 形态与选型:液-液 / 液-气;二次侧水质、压力与膨胀管理 → R5-02 二次侧水质、压力与膨胀管理;逼近温度与换热器选型 → R5-03 逼近温度与换热器选型;一次侧冷源形式 → R6-01 一次侧冷源:冷却塔、干冷器与水侧经济器;漏液防护的负压设计、检测与分区隔断 → R7-01 漏液防护:负压设计、检测与分区隔断;在线维护与可维护性设计的通用方法 → R7-02 在线维护与可维护性设计;机房热环境等级与供液温度等级的用法 → R1-03 机房热环境等级与供液温度等级(ASHRAE A 级与 W 级);风冷的物理上限与换路线判据 → R1-04 风冷的物理上限:什么时候必须换液冷;能效指标口径 → R6-03 能效指标体系:PUE / WUE / ERF / REF 的口径与监管;标准全景与各标准体系管什么 → R8-01 标准全景:ASHRAE / OCP / GB / EU 各管什么。
⛔ 本课不覆盖 · 栏二(真正不给的数):① 任何标准或规范的条款内容、限值与等级取值——本课涉及的浸没液冷技术规范类文件与数据中心设计规范类文件,只写「它管什么、在哪一步卡住你」;⛔ 本课未取得原文逐字核对,编号与版次一律以现行有效目录为准,不复述任何一条条款,也不给任何一条限值。② 某一款具体介电液体的物性数值——比热、密度、黏度、闪点随配方差异很大,必须取所选液体供应商的物性表,见 3.5 的取值路。③ 材料相容性的判定结论(哪种橡胶能泡、哪种标签会掉)——它是逐配方、逐牌号的试验结论,本课只教你怎么把这件事列成必须回答的问题,答案在 R4-03 浸没工质与材料相容性、法规走向。④ 液体价格、充注成本与投资回收期——商务输入,不是工程量。⑤ 「多少千瓦该上浸没」的门槛——⚠ 这不是本课漏写,而是本课的核心论点之一,见 6.6。
⚠ 栏二之外的平台相关量(单槽热负荷、槽内液体温升、槽内主体液温、循环体积流量、运行面荷载、沥干时间、液体年补充率、液侧份额),本课照给典型区间、常见值锚点、免责声明与拿到它的路,汇总表在 6.7。
引言:技术可行不等于方案可行
先说一件在浸没项目上反复发生、而且每次都发生得很晚的事。
一个团队花了三个月做浸没方案评估。他们算了热阻、算了循环量、选了液体、找了槽体供应商、跑了设备厂商的相容性确认,所有技术指标都满足。评审会上材料很漂亮,项目立项通过。
设备到场之后,项目卡住了。不是热出了问题——热一切正常。卡住的地方是这些:机房没有地方存放备用液体;运维班组没有带液作业的工装,也没有人做过;设备要从液体里吊出来,而机房那一跨的梁下净高不够挂葫芦;沥干下来的液体没有接收与回收的流程;地面一旦滴上液体,保洁按普通污渍处置,把液体冲进了地漏。
这些问题里没有一个是热学问题,而它们全都能让项目停在验收阶段。
⇒ 所以本课的组织方式跟一般的技术课不一样。它不是「先讲原理、再讲设计、最后讲应用」,而是按「否决权从弱到强」排的:
- 第 1 讲讲热学,因为它是浸没的卖点所在,你必须能说清楚它到底好在哪一段、好多少——但热学几乎从来不是否决项;
- 第 2、3 讲讲槽体与循环,这是方案的骨架,它决定占地、承重与接口;
- 第 4 讲讲液体管理,这是浸没相对其他液冷路线新增的一整套工作,很多团队在评估阶段完全没有把它算进人力;
- 第 5 讲讲运维改变,这是最常见的真实否决项;
- 第 6 讲讲既有机房改造,这是最强的否决项——建筑条件不给你商量的余地。
⭐ 请记住这个顺序。它就是本课要给你的那个方法:评估浸没方案时,把最强的否决项放到最前面去问,⛔ 不要留到最后。因为前面那些问题即使答错了还能改设计,而后面那些问题答错了,只能改项目。
第 1 讲 换热路径少了几段
1.1 先把两条路径并排放好
任何一个「浸没热阻低」的说法,只有把两条路径的每一段列出来对照,才是可核对的工程陈述;否则它只是一句宣传语。
本课直接沿用 R3-01 冷板结构与流道设计 对冷板路径的串联分解,⛔ 不另起一套符号。冷板路径从芯片结出发,到冷却液为止,串联五段:
R_总,冷板 = R_jc + R_TIM + R_base + R_spread + R_conv
各段的含义(属主课是 R3-01 冷板结构与流道设计,此处只做本课要用的复述):
| 符号 | 这一段是什么 | 谁决定它 |
|---|---|---|
| R_jc | 芯片结到封装外壳/散热盖的热阻 | 封装决定,方案设计方不可改 |
| R_TIM | 封装外壳与冷板底板之间的界面材料,含体热阻与两侧接触热阻 | 界面材料选型与装配压力,属主 H5-01 导热界面材料(导热垫/凝胶/灌封)选型 |
| R_base | 冷板底板的一维导热 | 底板厚度与材料 |
| R_spread | 底板上的扩散热阻,热源面积小于冷板面积时出现 | 底板厚度、材料与热源/冷板的面积比 |
| R_conv | 冷板内壁到冷却液的对流 | 流道形式、流量与液体物性 |
单相浸没路径把封装直接放进液体,于是这条链变成两段:
R_总,浸没 = R_jc + R_conv,imm
⚠ 这里必须当场把一个符号说清楚,⛔ 否则跨课读会读错。本课新引入 R_conv,imm,它是封装外表面(或封装上的裸露散热片)到槽内液体的对流热阻。它与 R3-01 冷板结构与流道设计 的 R_conv 不是同一段:后者是冷板内壁到液体,换热面是人为设计的密集流道内壁;前者的换热面是封装本身的外表面,面积由封装给定,你能改的只有加装浸没专用散热片。⇒ 两者量纲相同、名字相似,⛔ 不许互代。为了避免误读,本课在所有出现的地方都写全下标 imm。
1.2 少掉的那三段里,哪一段最值钱
三段都省了,但它们的分量不一样。
R_TIM 通常是三段里最大的一段,而且常常是整条链上最大的一段。这不是浸没方案的宣传,这是 R3-01 冷板结构与流道设计 在讲冷板优化时反复出现的结论——正因为界面材料这一段占比大,冷板方案里「改界面材料」的性价比才远高于「把对流做得更好」。
⇒ 于是浸没得到了一个结构上很干净的收益:它不是把界面材料做得更好,它是把界面材料这个环节整个删掉了。
⚠ 但请当场把这句话的边界划出来,⛔ 否则下一步就会出现夸大:
- R_jc 一点没省。两条路径这一段完全相同,而它对高功率密度的加速卡封装来说并不小。⇒ 浸没不能让一颗芯片的结温需求变松。
- R_conv,imm 未必比 R_conv 小。冷板的流道是为换热专门设计的:内壁面积大、流速高。浸没的换热面是封装外表面,面积由封装给定,槽内流速通常远低于冷板流道内的流速。⇒ 单看对流这一段,浸没常常是吃亏的,要靠加装浸没专用散热片把面积补回来。
- ⇒ 所以正确的说法是:浸没用一段可能变差的对流,换掉了三段确定存在的串联热阻,净结果通常是赢的,但赢多少必须逐个封装算。
⭐ 这条边界很重要,因为它决定了一件实务上的事:把一台为风冷设计的服务器直接丢进液体,未必凉快。那台机器的封装上原本靠风扇吹的散热片是为空气设计的,翅片密、间距小,在黏度高得多的液体里几乎不流动。⇒ 浸没机型往往要换成翅片稀疏、通道宽的浸没专用散热片,⛔ 这不是可选项。
1.3 一个教学演算:省下来的到底是多少
下面这个演算只演示算术关系,所有数字都是教学假设值,不对应任何平台、任何芯片、任何液体。
假设某冷板方案的五段占比为:R_jc 占 30%、R_TIM 占 35%、R_base 占 10%、R_spread 占 10%、R_conv 占 15%(教学假设,⛔ 不是行业统计值)。
改成浸没之后:
- 被删掉的是 R_TIM + R_base + R_spread = 55%;
- 保留的是 R_jc = 30%;
- R_conv 换成 R_conv,imm。假设这一段变差一倍(教学假设),即从 15% 变成 30%;
- ⇒ 新的总热阻 = 30% + 30% = 60%,相对原来下降四成。
⚠ 现在把假设改一改,看它有多敏感:如果 R_conv,imm 变差三倍(15% → 45%),新总热阻 = 30% + 45% = 75%,只下降两成半。如果那台机器根本没换浸没专用散热片,对流段变差五倍(15% → 75%),新总热阻 = 105%,比冷板还差。
⇒ 这个演算要你带走的不是那个「下降四成」的数,而是这条结构:
浸没的收益 = 被删掉的三段占比 − 对流段变差的增量。 ⇒ 前一项由封装与冷板方案决定,后一项由你有没有把散热片换成浸没专用的决定。
1.4 第二个优势:不存在「覆盖不到」的器件
冷板方案有一个结构性的麻烦,R3-03 混合系统:剩余风冷那一部分怎么设计 整门课都在处理它:冷板只盖得住少数几颗大功率器件——处理器、加速卡,也许再加上部分供电模块。而机器里还有内存、板载供电、网络芯片、光模块、硬盘,这些器件的热仍然要靠空气带走。
⇒ 于是上了冷板的机房仍然需要一整套风侧系统:机房空调、气流组织、通道封闭,一样都不能少,只是负担变小了。这就是 R3-03 混合系统:剩余风冷那一部分怎么设计 里那个「液侧份额」要算清楚的原因:
β = Q_液侧 / Q_总(无量纲,属主 R3-03 混合系统:剩余风冷那一部分怎么设计)
其中 Q_总 是机柜的热账总量,按 R3-03 混合系统:剩余风冷那一部分怎么设计 的边界约定含柜内风扇与柜内配电损耗。
单相浸没把这件事从根上改掉了:所有器件都在液体里。不存在「冷板盖不到」的器件,因为不需要盖——液体本来就包着它们。⇒ 在浸没方案里,β 逼近 1。
⚠⚠ 但它不等于 1,而这个差额是本课要你亲手确认的一件事。逼近 1 之外还剩下的,通常是这几项:
- 不在槽内的部件。顶置的接入交换机、槽外的配电单元、走出槽体的光模块与线缆连接头,这些常常留在空气里;
- 槽体表面的散热。槽体外壁与槽内液面上方的空间会向机房空气放热,这部分热落在机房风侧账上;
- 循环泵与辅助设备的耗功。它们大部分转成热进了液体(所以在液侧),但布置在槽外的部分进了空气。
⇒ 所以浸没机房仍然需要一套风侧末端,只是它的任务从「带走绝大部分设备热」变成了「维持环境与带走少量残余热」。⛔ 「上了浸没就不需要机房空调」是一句错的话,它在设计阶段被相信的代价是:环境温湿度失控、槽外的交换机过热、以及冬季机房结露。
⚠ 跨课口径提醒,⛔ 不许跳过。如果你从厂商参考架构里拿到一个也叫「液冷带走的份额」的比值(R9-01 NVIDIA 机柜级参考架构解构:GB200 NVL72 与 MGX 的冷却约束 记作 η_liq),它的分母不是 Q_总,而是 P_rack(单机柜的 IT 功率,⛔ 不含分配单元、机房空调与机房风机)。本课沿用的 β 分母更大(含柜内风扇与柜内配电损耗)⇒ 同一台机柜,算出来的 β 会略低于 η_liq。两个口径都不是错的,各自服务一个不同的问题;⛔ 但直接互代会把风侧那一部分系统性低估——在浸没语境里,低估的正是「槽外还剩多少热要靠空气」这个数,而它决定你还要不要留机房空调。⇒ 引用份额类的数时,必须把分母口径一起带上。
β 只是逼近 1,槽外的交换机、配电与槽体外壁散热就是那个差额。示意图,⛔ 不得据图取值。1.5 这两条优势合起来意味着什么
把 1.2 与 1.4 放在一起,浸没在原理层面做到了两件冷板做不到的事:
- 删掉了串联链上占比最大的那一段(界面材料);
- 消灭了「覆盖不到」这个结构性缺口。
⇒ 这解释了为什么在极高功率密度的场景里,浸没会被反复提起:当冷板已经把能改的都改完、而热还是下不去时,剩下能动的就是那三段被删掉的热阻;当风侧份额已经把机房逼到极限时,剩下能动的就是「让风侧份额趋近于零」。
1.6 代价转移到了哪里
⚠ 但请注意本课的中心论点:浸没并没有让代价消失,它把代价转移了。
| 冷板方案的麻烦 | 在浸没方案里 | 转移成了什么 |
|---|---|---|
| 界面材料的选型、涂覆与老化 | 消失 | —— |
| 冷板覆盖不到的器件与风侧份额 | 大幅缩小 | 槽外少量残余热 + 环境维持 |
| 每一颗芯片一个冷板、一路管、两个接头 | 消失 | 换成整槽一套循环 |
| 漏液会滴到通电的板卡上 | 形态改变 | 液体本来就在板卡上,问题变成槽外泄漏与液位管理 |
| —— | 新增 | 槽体承载与卧式布局(第 2 讲) |
| —— | 新增 | 液体管理:补液、过滤、化验、更换(第 4 讲) |
| —— | 新增 | 取件要吊出与沥干,带液作业(第 5 讲) |
| —— | 新增 | 设备必须适配浸没:拆风扇、换散热片、核材料(第 5 讲) |
⇒ 请对着这张表数一下:消失三项,新增四项。而消失的三项全是工程设计问题(在设计阶段解决),新增的四项里有三项是运维与设施问题(在运行阶段每天面对)。
⭐ 这就是浸没方案评估最容易犯的错的根子:评估是设计口做的,而代价落在运维口。做评估的人看到的是三项消失,用它的人看到的是四项新增,两边看的是同一个方案的不同侧面。⇒ 本课后面五讲的全部内容,就是把那四项新增摊开,让评估阶段就能看见它们。
1.7 一句必须当场纠正的话
「浸没是液冷的终点」——这句话在评审会上出现的频率很高,⛔ 而它是错的,错在把一条技术谱系当成了一条必须走完的路。
R1-04 风冷的物理上限:什么时候必须换液冷 已经给出过那条谱系:通道封闭 → 门式/背板换热 → 冷板 → 浸没。⚠ 那门课特别强调过一句:这四档不是一条必须走完的路,绝大多数项目停在第二或第三档,而且是逐柜停在不同档上。
浸没之所以排在最右边,不是因为它最先进,是因为它对 IT 设备与机房形态的改动最大。「改动最大」是一个成本描述,⛔ 不是一个优劣描述。
⇒ 正确的问法是:「在我这个项目的约束下,这四档里哪几档是可选的?」而回答这个问题需要第 5、6 讲的内容,⛔ 不是第 1 讲的内容。
后面还有 5 讲正文 · 关键公式 · 案例拆解 · 常见误区 · 动手做