R7-03 监控、告警与运行策略
| 项目 | 内容 |
|---|---|
| 课程代码 | R7-03 |
| 所属板块 | R 算力中心与液冷 · R7 可靠性、漏液与运维 |
| 建议时长 | 2.5~3.0 学时 |
| 适合对象 | 要设计液冷机房监控方案的控制岗;以及要把监控清单变成值班判据的运维负责人 |
| 前置课程 | R5-02 二次侧水质、压力与膨胀管理 · R3-03 混合系统:剩余风冷那一部分怎么设计 |
| 相关课程 | R7-01 漏液防护:负压设计、检测与分区隔断 · R7-02 在线维护与可维护性设计 · R3-02 二次侧流量分配与并联均流 |
| 本讲义定位 | 讲师授课蓝本 / 学员自学讲义 |
本讲义定位 这是一门判据课,不是产品选型手册,也不是某一套监控软件的操作说明。它要回答的是:一间液冷机房应该连续测哪些量、每一个量能提前发现什么、测出来的数怎么变成一条值班人员敢按的判据,以及当判据设错时,代价会以什么形式出现。 ⛔ 它不给任何可以直接抄进组态里的限值表、报警门槛、延时参数与采样周期定值——那些随你的设备、冷却液、回路容积、隔离粒度与业务容忍度变化,抄来的数字在你的机房既不灵敏也不可信。 ⇒ 它给的是:一张按「能提前发现什么」组织的连续监测清单、一套三层告警的划分判据与响应要求、趋势判据与阈值判据的分工与配合方式,以及每一处「本课不给数」的地方你自己去哪里拿到那个数。
按任务导航
| 你手上的事 | 直接看 | 还要配 |
|---|---|---|
| 要写一份液冷机房的连续监测清单 | 第 2 讲全讲:五类量与各自的提前量 | 图2 取点图、图4 提前量阶梯、6.1 一页清单 |
| 组态里已经有几百个点,我要判「够不够」 | 第 1 讲 1.4:从判据反查点位 | 图1 判据链、6.2 误区一 |
| 值班台告警太多,要收敛 | 第 3 讲全讲:三层划分与响应要求 | 图5 三层表、图6 疲劳机制、典型案例 |
| 要给过滤器压差设一条判据 | 第 4 讲 4.3、4.4:基线与斜率 | 图8 基线带、6.3 取值汇总 |
| 要判「这条报警该不该联锁停泵」 | 第 4 讲 4.5:趋势与阈值的分工 | 图9 分工图、第 3 讲 3.2 |
| 一台机柜报温度高,要判问题在哪一侧 | 第 5 讲 5.4:分诊树 | 图12 分诊树、图3 支路温差判据 |
| 上了冷板液冷,风侧监控要不要留 | 第 5 讲 5.1、5.2 | 图10 覆盖缺口、图11 界面布局 |
| 要评审别人交来的监控方案 | 6.1 一页核对清单 | 6.2 四个误区 |
本课不覆盖:泄漏的检测层次与响应时间分解(去向 R7-01 漏液防护:负压设计、检测与分区隔断)· 支路流量分配算法(R3-02 二次侧流量分配与并联均流)· 水质控制量与定期化验(R5-02 二次侧水质、压力与膨胀管理)· 液侧份额 β 的核算(R3-03 混合系统:剩余风冷那一部分怎么设计)· 气流组织与末端选型(R2-01 冷热通道封闭与机房气流组织 · R2-03 机房风侧末端与送风方式选型)· 能耗与自然冷却小时数(R6-02 自然冷却小时数与气候区选址)· 监测与告警的标准条款(R8-01 标准全景:ASHRAE / OCP / GB / EU 各管什么) |
— | 见「小结与课程衔接」 |
符号与口径
⚠ 本课绝大多数符号沿用本板块已有课程的定义,⛔ 不重新定义。凡沿用的,取点口径与那门课完全一致;凡本课首定的,在表中明确标出。
| 符号 | 含义 | 单位 | 出处 |
|---|---|---|---|
T_fws |
一次侧设施水供水温度,取点在分配单元一次侧入口 | ℃ | 沿用 R1-03 |
T_sup2 |
二次侧供液温度,取点在分配单元二次侧出口 | ℃ | 沿用 R1-03 |
T_ret2 |
二次侧回液温度,取点在分配单元二次侧回液口 | ℃ | 沿用 R1-03 |
T_in |
设备实际进液温度,取点在机柜二次侧供液接口、快接头下游 | ℃ | 沿用 R1-03 |
ΔT_s |
二次侧供回温差 = T_ret2 − T_sup2 |
K | 沿用 R1-03 |
ATD |
分配单元逼近温度 = T_sup2 − T_fws,在额定工况点上取 |
K | 沿用 R1-03 / R5-03 |
T_dp |
机柜内空气露点 | ℃ | 沿用 R1-03 |
ṁ |
质量流量 | kg/s | 沿用 R3-02 |
K |
支路阻力系数,Δp = K·ṁ² |
— | 沿用 R3-02 |
Δp_支路 |
支路压降 | kPa | 沿用 R3-02 / R7-02 |
Δp_滤 |
过滤器进出口压差 | kPa | 沿用 R5-02 |
Δp_neg |
负压裕度 = 大气压 − 该点回路内绝对压力,为正表示该点是负压段 | kPa | 沿用 R7-01 |
t_det、t_ack、t_iso |
检测、确认、隔断三段时间 | min | 沿用 R7-01 |
t_resp |
总响应时间 = t_det + t_ack + t_iso |
min | 沿用 R7-01 |
N_iso |
隔离粒度,一次隔离动作波及的机柜或设备数 | 台 | 沿用 R7-01 / R7-02 |
P_rack |
单机柜 IT 功率,⛔ 不含分配单元、机房空调与机房风机 | kW | 沿用 R9-01 / R9-02 |
β |
液侧份额 = Q_液侧 / Q_总,Q_总 含柜内风扇与柜内配电损耗 |
— | 沿用 R3-03 |
T_a,in |
机柜进风温度,取点在机柜前门,上中下三点 | ℃ | 沿用 R2-03 |
T_a,out |
机柜出风温度,取点在机柜后门 | ℃ | 沿用 R2-03 |
T_sa |
末端出口送风温度 | ℃ | 沿用 R2-03 |
δ_mix |
送风温升 = T_a,in − T_sa |
K | 沿用 R2-03 |
ΔT_air |
机柜进出风温差 = T_a,out − T_a,in |
K | 沿用 R2-03 |
V̇_rack |
流过机柜的空气体积流量 | m³/h | 沿用 R2-03 |
ΔT_i |
第 i 条液侧支路的进出液温差 |
K | 本课首定,见 2.3;与 R3-02 的 ΔT = Q/(ṁ·c_p) 同口径,只是加了支路下标 |
x |
泛指任何一个被连续监测的量(温度、流量、压差…) | 随量 | 本课首定,见 4.2 |
x_base |
该量在稳定运行期建立的基线中心值 | 随量 | 本课首定,见 4.3 |
σ_base |
同一基线期内该量的波动幅度(按标准差口径) | 随量 | 本课首定,见 4.3 |
z |
归一化偏离 = (x − x_base) / σ_base,无量纲 |
— | 本课首定,见 4.4 |
s |
变化率 = dx/dt,单位随量与所取时间尺度 |
随量/时间 | 本课首定,见 4.4 |
T_lead |
提前量 = 判据报出时刻到该量真正越限时刻之间的时间 | h 或 d | 本课首定,见 4.1 |
n_alarm |
单班次推送到值班台的告警条数 | 条/班 | 本课首定,见 3.5 |
r_act |
有效告警率 = 需要立即动作的告警条数 / 告警总条数 | — | 本课首定,见 3.5 |
⚠ 两处必须一起带上口径的量。
β:本课在第 5 讲用它做双侧覆盖的核对。它的分母是Q_总(热账总量,含柜内风扇与柜内配电损耗),⛔ 与 R9-01 NVIDIA 机柜级参考架构解构:GB200 NVL72 与 MGX 的冷却约束 的η_liq不是同一个分母——后者的分母是P_rack(单机柜 IT 功率)。两者都无量纲、都叫「液冷带走的份额」、公开区间也都落在六成到八成,⇒ 直接互代会系统性低估风侧份额,在本课的后果是风侧监控被判为「没什么可看的」而砍掉。那条桥在 R3-03 混合系统:剩余风冷那一部分怎么设计 已写足,本课不重复,只在第 5 讲用它时再提醒一次。σ_base:本课把它当成「这个量平时抖多大」的度量,⛔ 不当成统计推断的置信区间。机房数据几乎都不满足独立同分布(有昼夜负载周期、有批任务、有相邻设备耦合),⇒ 拿z去反推「误报概率是多少」不成立;z在本课的唯一用途是把不同量纲的量放到同一把尺上比较。
引言:一句听起来无可指摘、而且会把方案带偏的话
在液冷机房的方案评审上,监控这一章几乎总是这样开头:
「监控系统按全覆盖设计,采集点位共计 XXXX 个,涵盖温度、压力、流量、液位、阀位、泵状态、漏液信号等全部参数,实现对系统运行状态的实时监视与报警。」
这句话每个字都对,而它什么也没说。它回答的是「我装了多少个传感器」,而运维真正要的是另一个问题:
当某件事正在变坏、而它还没坏的时候,我能不能知道?知道之后,我该现在动手,还是可以等到周三的计划窗口?
这两个问题之间隔着三层东西,而这三层正是本课的内容:
第一层:量到判据。一个点位只是一个数。「进液温度 32.4 ℃」本身不构成任何信息——它是高还是低,取决于这台设备的允许上限、取决于此刻的负载、取决于同一列其他机柜是多少。没有判据的点位不产生行动,只产生数据库容量。
第二层:判据到分层。就算每个量都有判据,如果所有判据都以同一种方式推给同一个人,结果是告警疲劳——人开始不看。这不是纪律问题,是信息设计问题:一个每班收到上百条提示的值班台,物理上不可能逐条核实。⇒ 而疲劳的代价不是「多看了几条没用的」,是那一条真的被淹掉了。本课的教学案例就是这么发生的。
第三层:分层到时机。阈值判据有一个结构性的缺陷:它只有在越限之后才报,而那时候问题往往已经发生了。真正能给你时间的,是趋势——一个量在还没越限时就已经在稳定地朝一个方向走。⚠ 但趋势判据不能替代阈值判据:安全联锁必须挂在阈值上,因为联锁要的是确定性,不是提前性。两者是分工,不是替代。
还有一件事,在冷板液冷的机房里特别容易漏:
上了液冷不等于热都走了液侧。冷板盖住的是处理器与加速卡,而内存、供电模块、网卡、硬盘这些器件仍然靠空气。这部分热的份额就是
1 − β。⇒ 如果监控界面上只有液侧的温度、流量、压力,那么另一部分系统在你的视野之外运行,而它出问题时的表现——某几台设备报温度高——会被误判成液侧的事,排障方向从第一分钟就是错的。
本课六讲对着这三层加这一条展开:第 1 讲先把「监控是什么」这件事的方向掉过来——从判据出发反推点位,而不是从点位出发凑判据;第 2 讲是清单本体,五类必须连续测的量,逐类说清它能提前发现什么、发现不了什么;第 3 讲讲分层,三层的划分判据与各自的响应要求,以及告警疲劳的发生机制;第 4 讲讲趋势判据,包括基线怎么建、斜率怎么用、以及它和阈值判据怎么配合;第 5 讲讲双侧覆盖,把液侧与风侧放进同一个界面,并给出排障时的分诊路径;第 6 讲收口成一页清单、四个误区与取值汇总。
第 1 讲 监控是一条判据链,不是一张点表
1.1 点表思维错在哪里
先说清楚「点表思维」是什么:先决定装哪些传感器,装完之后再想它们能用来判什么。
这个顺序在传统机房里长期能用,原因很具体:风冷机房的失效模式少、链条短、后果轻。温度高了就是制冷不够,制冷不够就是机组或气流的事——判据几乎不需要设计,靠经验就能补上。
而液冷机房不成立,因为它同时具备三个特征:
- 失效模式增加了一整类。R7-01 漏液防护:负压设计、检测与分区隔断 讲的泄漏是风冷机房里根本不存在的失效模式——液体被送到了带电部件正上方,⇒ 它需要一条独立的感知通道,而不是从别的量里推。
- 链条变长了。从一次侧设施水到芯片结温,中间串着
T_fws → ATD → T_sup2 → 输配温升 → T_in → 冷板热阻 → 结温这么一条链(R1-03 机房热环境等级与供液温度等级(ASHRAE A 级与 W 级) 画过这条链)。链上任何一环变坏,最终表现都是「温度高」。⇒ 只测末端的温度,你知道出事了,但不知道出在哪一环。 - 缓慢失效占了大头。R5-02 二次侧水质、压力与膨胀管理 的结论是二次侧的失效「几乎全是缓慢的、有前兆的、且前兆不在温度上」。⇒ 真正有价值的量是那些先动的量,而它们通常不在传统点表上。
所以本课把顺序倒过来:
先列出你要能回答的判断题,再反推每个判断题需要哪几个量,最后才是这些量在哪里取点、多久采一次、存多久。
1.2 这门课的四道判断题
把上面那句话落到具体,本课认为一间冷板液冷机房的监控系统至少要能回答这四道题。它们后面会一直被引用。
题一(温度链):从设施水到设备进液,这条链上的每一段温升是不是还在设计位置上?如果设备进液温度偏高,是设施水偏高、分配单元逼近温度变差,还是二次侧输配段出了问题?
题二(分配):并联的这些支路,流量还是按设计比例分的吗?有没有某一条已经在悄悄少拿?
题三(趋势):有没有什么东西正在缓慢变坏、而所有量都还没越限?
题四(两侧):这台机柜报出来的温度问题,缺口在液侧还是风侧?
⚠ 这四道题不是穷举。泄漏那一类问题的判据体系属主是 R7-01 漏液防护:负压设计、检测与分区隔断,本课只把「漏液检测状态」作为一条独立通道接进监控系统(见 2.6),⛔ 不重复它的检测层次、响应时间分解与隔断粒度。能耗与自然冷却小时数那一类问题的属主是 R6-02 自然冷却小时数与气候区选址,本课不覆盖。
1.3 取点位置比传感器精度更决定这个数可不可用
这一条要说在最前面,因为它在评审里几乎从不被问,而它是「监控数据不可信」的第一大来源。
同一个物理量,取点不同就是不同的数。三个例子,都来自这条链上:
- 进液温度:取在分配单元二次侧出口,与取在机柜快接头下游,中间差着一整段二次侧输配管路的温升。R1-03 机房热环境等级与供液温度等级(ASHRAE A 级与 W 级) 明确给出的口径是
T_in取在机柜二次侧供液接口、快接头下游——因为设备厂商给的允许进液温度上限就是对着这个位置提的。⇒ 用分配单元出口的读数去核设备的进液温度要求,是拿一个偏低的数去核,会把裕量算多。 - 机柜进风温度:R2-03 机房风侧末端与送风方式选型 的口径是取在机柜前门,上中下三点。取单点、或者取机房平均值,都会把回流造成的柜顶偏高抹掉——而回流恰恰是最常见的风侧问题。
- 过滤器压差:必须是同一个过滤器的进出口两点之差。如果一侧的压力取自主管上的一个共用压力表,那么这个「压差」里混进了主管沿程压降的变化,⇒ 流量一变它就变,趋势判据会被负载波动淹掉。
一条可以直接用的评审提问:随便指着组态画面上的一个数,问「这个数取在哪个位置?为什么是那个位置?」。答不出来的那些量,它们的历史数据在做趋势分析时是不可用的——因为你不知道它在跟什么比。
1.4 从判据反查点位:一个可执行的核法
评审别人交来的监控方案时,用这个顺序,而不是数点位:
- 把 1.2 的四道判断题(加上你自己项目特有的题)逐条列出来;
- 对每一道题,写出回答它需要哪几个量同时可读——注意是「同时」,温度链那道题需要三个点位同时有值,缺一个这道题就答不了;
- 到方案的点表里逐个找,找不到的记为缺口;
- 反过来,点表里凡是没有出现在任何一道题里的量,逐个问「它服务于什么」,问不出来的记为哑点;
- 缺口要补,哑点要么补上它服务的判断题、要么删掉。
⚠ 第 5 步的「删掉」通常做不成,也不必强求——哑点的成本主要是它会响。⇒ 更现实的处置是:把它降到「仅记录」那一层(第 3 讲),不推送到值班台。这一步本身就能把告警量降下来一大截。
1.5 采样周期、保存期与两条容易踩的坑
这三件是点位定下来之后立刻要定的,⚠ 而它们直接决定趋势判据能不能做。
采样周期要按「这个量变化多快」定,⛔ 不是全系统一个值:
- 漏液检测状态:事件驱动,状态一变立刻上报,⛔ 不许轮询——R7-01 漏液防护:负压设计、检测与分区隔断 里
t_det是响应时间账的第一段,轮询周期会直接加在它上面; - 压力、流量:这两个量在泵切换、阀动作时会有快速瞬变,采样周期约 1~5 s(⚠ 行业典型区间,⛔ 不是标准要求);
- 温度:受热惯性限制本来就变得慢,约 5~30 s 通常够用(⚠ 同上);
- 过滤器压差:它是本课最重要的趋势量之一,采样本身不必快,但必须长期连续,⚠ 别用「按需读表」代替。
保存期的判据只有一条:要建立基线,就必须存得下一个完整的负载周期,外加足够长的历史用来看斜率。算力中心的负载周期通常是「日 + 周」两层(白天/夜间、工作日/周末),批任务型场景还会叠一层更长的。⇒ 原始分辨率数据至少要覆盖数周;降采样后的长期曲线建议按年保存——因为过滤器与水质这类量的有意义变化尺度就是月到年。
⛔ 两条坑:
- 坑一:只存报警,不存原值。这样做之后,趋势判据永远做不出来——你手上只有「越限了几次」,没有「它是怎么走到那儿的」。
- 坑二:降采样时只存平均值。把 1 s 的数据压成 5 min 的平均值,会把瞬时的流量骤降完全抹平。⇒ 降采样至少要同时保留最大值、最小值与平均值三条。
1.6 本讲小结
- 监控设计的顺序是判断题 → 量 → 取点 → 分层,⛔ 不是点表 → 限值(1.1、图1)。
- 本课认下的四道判断题:温度链、分配、趋势、两侧(1.2)。泄漏那一类的属主是 R7-01 漏液防护:负压设计、检测与分区隔断。
- 取点位置比传感器精度更决定这个数可不可用;评审提问=「这个数取在哪、为什么」(1.3)。
- 核方案用「缺口 + 哑点」双向查(1.4);哑点的现实处置是降到仅记录层,⛔ 不必强删。
- 采样周期按量分档、⛔ 不全系统一个值;保存期由「能不能建基线」倒推(1.5)。
后面还有 5 讲正文 · 关键公式 · 案例拆解 · 常见误区 · 动手做