TMS BOOK · ACADEMY 讲义

监控、告警与运行策略

大纲的完整展开版——讲师授课蓝本 / 学员自学材料

R7-03 监控、告警与运行策略

项目 内容
课程代码 R7-03
所属板块 R 算力中心与液冷 · R7 可靠性、漏液与运维
建议时长 2.5~3.0 学时
适合对象 要设计液冷机房监控方案的控制岗;以及要把监控清单变成值班判据的运维负责人
前置课程 R5-02 二次侧水质、压力与膨胀管理 · R3-03 混合系统:剩余风冷那一部分怎么设计
相关课程 R7-01 漏液防护:负压设计、检测与分区隔断 · R7-02 在线维护与可维护性设计 · R3-02 二次侧流量分配与并联均流
本讲义定位 讲师授课蓝本 / 学员自学讲义

本讲义定位 这是一门判据课,不是产品选型手册,也不是某一套监控软件的操作说明。它要回答的是:一间液冷机房应该连续测哪些量、每一个量能提前发现什么、测出来的数怎么变成一条值班人员敢按的判据,以及当判据设错时,代价会以什么形式出现。 ⛔ 它不给任何可以直接抄进组态里的限值表、报警门槛、延时参数与采样周期定值——那些随你的设备、冷却液、回路容积、隔离粒度与业务容忍度变化,抄来的数字在你的机房既不灵敏也不可信。 ⇒ 它给的是:一张按「能提前发现什么」组织的连续监测清单、一套三层告警的划分判据与响应要求、趋势判据与阈值判据的分工与配合方式,以及每一处「本课不给数」的地方你自己去哪里拿到那个数。


按任务导航

你手上的事 直接看 还要配
要写一份液冷机房的连续监测清单 第 2 讲全讲:五类量与各自的提前量 图2 取点图、图4 提前量阶梯、6.1 一页清单
组态里已经有几百个点,我要判「够不够」 第 1 讲 1.4:从判据反查点位 图1 判据链、6.2 误区一
值班台告警太多,要收敛 第 3 讲全讲:三层划分与响应要求 图5 三层表、图6 疲劳机制、典型案例
要给过滤器压差设一条判据 第 4 讲 4.3、4.4:基线与斜率 图8 基线带、6.3 取值汇总
要判「这条报警该不该联锁停泵」 第 4 讲 4.5:趋势与阈值的分工 图9 分工图、第 3 讲 3.2
一台机柜报温度高,要判问题在哪一侧 第 5 讲 5.4:分诊树 图12 分诊树、图3 支路温差判据
上了冷板液冷,风侧监控要不要留 第 5 讲 5.1、5.2 图10 覆盖缺口、图11 界面布局
要评审别人交来的监控方案 6.1 一页核对清单 6.2 四个误区
本课不覆盖:泄漏的检测层次与响应时间分解(去向 R7-01 漏液防护:负压设计、检测与分区隔断)· 支路流量分配算法(R3-02 二次侧流量分配与并联均流)· 水质控制量与定期化验(R5-02 二次侧水质、压力与膨胀管理)· 液侧份额 β 的核算(R3-03 混合系统:剩余风冷那一部分怎么设计)· 气流组织与末端选型(R2-01 冷热通道封闭与机房气流组织 · R2-03 机房风侧末端与送风方式选型)· 能耗与自然冷却小时数(R6-02 自然冷却小时数与气候区选址)· 监测与告警的标准条款(R8-01 标准全景:ASHRAE / OCP / GB / EU 各管什么) — 见「小结与课程衔接」

符号与口径

⚠ 本课绝大多数符号沿用本板块已有课程的定义,⛔ 不重新定义。凡沿用的,取点口径与那门课完全一致;凡本课首定的,在表中明确标出。

符号 含义 单位 出处
T_fws 一次侧设施水供水温度,取点在分配单元一次侧入口 ℃ 沿用 R1-03
T_sup2 二次侧供液温度,取点在分配单元二次侧出口 ℃ 沿用 R1-03
T_ret2 二次侧回液温度,取点在分配单元二次侧回液口 ℃ 沿用 R1-03
T_in 设备实际进液温度,取点在机柜二次侧供液接口、快接头下游 ℃ 沿用 R1-03
ΔT_s 二次侧供回温差 = T_ret2 − T_sup2 K 沿用 R1-03
ATD 分配单元逼近温度 = T_sup2 − T_fws,在额定工况点上取 K 沿用 R1-03 / R5-03
T_dp 机柜内空气露点 ℃ 沿用 R1-03
ṁ 质量流量 kg/s 沿用 R3-02
K 支路阻力系数,Δp = K·ṁ² — 沿用 R3-02
Δp_支路 支路压降 kPa 沿用 R3-02 / R7-02
Δp_滤 过滤器进出口压差 kPa 沿用 R5-02
Δp_neg 负压裕度 = 大气压 − 该点回路内绝对压力,为正表示该点是负压段 kPa 沿用 R7-01
t_det、t_ack、t_iso 检测、确认、隔断三段时间 min 沿用 R7-01
t_resp 总响应时间 = t_det + t_ack + t_iso min 沿用 R7-01
N_iso 隔离粒度,一次隔离动作波及的机柜或设备数 台 沿用 R7-01 / R7-02
P_rack 单机柜 IT 功率,⛔ 不含分配单元、机房空调与机房风机 kW 沿用 R9-01 / R9-02
β 液侧份额 = Q_液侧 / Q_总,Q_总 含柜内风扇与柜内配电损耗 — 沿用 R3-03
T_a,in 机柜进风温度,取点在机柜前门,上中下三点 ℃ 沿用 R2-03
T_a,out 机柜出风温度,取点在机柜后门 ℃ 沿用 R2-03
T_sa 末端出口送风温度 ℃ 沿用 R2-03
δ_mix 送风温升 = T_a,in − T_sa K 沿用 R2-03
ΔT_air 机柜进出风温差 = T_a,out − T_a,in K 沿用 R2-03
V̇_rack 流过机柜的空气体积流量 m³/h 沿用 R2-03
ΔT_i 第 i 条液侧支路的进出液温差 K 本课首定,见 2.3;与 R3-02 的 ΔT = Q/(ṁ·c_p) 同口径,只是加了支路下标
x 泛指任何一个被连续监测的量(温度、流量、压差…) 随量 本课首定,见 4.2
x_base 该量在稳定运行期建立的基线中心值 随量 本课首定,见 4.3
σ_base 同一基线期内该量的波动幅度(按标准差口径) 随量 本课首定,见 4.3
z 归一化偏离 = (x − x_base) / σ_base,无量纲 — 本课首定,见 4.4
s 变化率 = dx/dt,单位随量与所取时间尺度 随量/时间 本课首定,见 4.4
T_lead 提前量 = 判据报出时刻到该量真正越限时刻之间的时间 h 或 d 本课首定,见 4.1
n_alarm 单班次推送到值班台的告警条数 条/班 本课首定,见 3.5
r_act 有效告警率 = 需要立即动作的告警条数 / 告警总条数 — 本课首定,见 3.5

⚠ 两处必须一起带上口径的量。

  • β:本课在第 5 讲用它做双侧覆盖的核对。它的分母是 Q_总(热账总量,含柜内风扇与柜内配电损耗),⛔ 与 R9-01 NVIDIA 机柜级参考架构解构:GB200 NVL72 与 MGX 的冷却约束 的 η_liq 不是同一个分母——后者的分母是 P_rack(单机柜 IT 功率)。两者都无量纲、都叫「液冷带走的份额」、公开区间也都落在六成到八成,⇒ 直接互代会系统性低估风侧份额,在本课的后果是风侧监控被判为「没什么可看的」而砍掉。那条桥在 R3-03 混合系统:剩余风冷那一部分怎么设计 已写足,本课不重复,只在第 5 讲用它时再提醒一次。
  • σ_base:本课把它当成「这个量平时抖多大」的度量,⛔ 不当成统计推断的置信区间。机房数据几乎都不满足独立同分布(有昼夜负载周期、有批任务、有相邻设备耦合),⇒ 拿 z 去反推「误报概率是多少」不成立;z 在本课的唯一用途是把不同量纲的量放到同一把尺上比较。

引言:一句听起来无可指摘、而且会把方案带偏的话

在液冷机房的方案评审上,监控这一章几乎总是这样开头:

「监控系统按全覆盖设计,采集点位共计 XXXX 个,涵盖温度、压力、流量、液位、阀位、泵状态、漏液信号等全部参数,实现对系统运行状态的实时监视与报警。」

这句话每个字都对,而它什么也没说。它回答的是「我装了多少个传感器」,而运维真正要的是另一个问题:

当某件事正在变坏、而它还没坏的时候,我能不能知道?知道之后,我该现在动手,还是可以等到周三的计划窗口?

这两个问题之间隔着三层东西,而这三层正是本课的内容:

第一层:量到判据。一个点位只是一个数。「进液温度 32.4 ℃」本身不构成任何信息——它是高还是低,取决于这台设备的允许上限、取决于此刻的负载、取决于同一列其他机柜是多少。没有判据的点位不产生行动,只产生数据库容量。

第二层:判据到分层。就算每个量都有判据,如果所有判据都以同一种方式推给同一个人,结果是告警疲劳——人开始不看。这不是纪律问题,是信息设计问题:一个每班收到上百条提示的值班台,物理上不可能逐条核实。⇒ 而疲劳的代价不是「多看了几条没用的」,是那一条真的被淹掉了。本课的教学案例就是这么发生的。

第三层:分层到时机。阈值判据有一个结构性的缺陷:它只有在越限之后才报,而那时候问题往往已经发生了。真正能给你时间的,是趋势——一个量在还没越限时就已经在稳定地朝一个方向走。⚠ 但趋势判据不能替代阈值判据:安全联锁必须挂在阈值上,因为联锁要的是确定性,不是提前性。两者是分工,不是替代。

还有一件事,在冷板液冷的机房里特别容易漏:

上了液冷不等于热都走了液侧。冷板盖住的是处理器与加速卡,而内存、供电模块、网卡、硬盘这些器件仍然靠空气。这部分热的份额就是 1 − β。⇒ 如果监控界面上只有液侧的温度、流量、压力,那么另一部分系统在你的视野之外运行,而它出问题时的表现——某几台设备报温度高——会被误判成液侧的事,排障方向从第一分钟就是错的。

本课六讲对着这三层加这一条展开:第 1 讲先把「监控是什么」这件事的方向掉过来——从判据出发反推点位,而不是从点位出发凑判据;第 2 讲是清单本体,五类必须连续测的量,逐类说清它能提前发现什么、发现不了什么;第 3 讲讲分层,三层的划分判据与各自的响应要求,以及告警疲劳的发生机制;第 4 讲讲趋势判据,包括基线怎么建、斜率怎么用、以及它和阈值判据怎么配合;第 5 讲讲双侧覆盖,把液侧与风侧放进同一个界面,并给出排障时的分诊路径;第 6 讲收口成一页清单、四个误区与取值汇总。


第 1 讲 监控是一条判据链,不是一张点表

1.1 点表思维错在哪里

先说清楚「点表思维」是什么:先决定装哪些传感器,装完之后再想它们能用来判什么。

这个顺序在传统机房里长期能用,原因很具体:风冷机房的失效模式少、链条短、后果轻。温度高了就是制冷不够,制冷不够就是机组或气流的事——判据几乎不需要设计,靠经验就能补上。

而液冷机房不成立,因为它同时具备三个特征:

  1. 失效模式增加了一整类。R7-01 漏液防护:负压设计、检测与分区隔断 讲的泄漏是风冷机房里根本不存在的失效模式——液体被送到了带电部件正上方,⇒ 它需要一条独立的感知通道,而不是从别的量里推。
  2. 链条变长了。从一次侧设施水到芯片结温,中间串着 T_fws → ATD → T_sup2 → 输配温升 → T_in → 冷板热阻 → 结温 这么一条链(R1-03 机房热环境等级与供液温度等级(ASHRAE A 级与 W 级) 画过这条链)。链上任何一环变坏,最终表现都是「温度高」。⇒ 只测末端的温度,你知道出事了,但不知道出在哪一环。
  3. 缓慢失效占了大头。R5-02 二次侧水质、压力与膨胀管理 的结论是二次侧的失效「几乎全是缓慢的、有前兆的、且前兆不在温度上」。⇒ 真正有价值的量是那些先动的量,而它们通常不在传统点表上。

所以本课把顺序倒过来:

先列出你要能回答的判断题,再反推每个判断题需要哪几个量,最后才是这些量在哪里取点、多久采一次、存多久。

图1 两种监控设计顺序的左右对照图。画面被一条竖直虚线分成左右两栏。左栏顶部有一条灰色标题带,写「点表思维:自下而上」。左栏内自下而上画三个横向长方框,方框之间用向上的灰色细箭头连接。最下一个方框标「① 装传感器:温度若干、压力若干、流量若干、阀位若干」,框内下方一行小字写「依据:招标清单、以往项目、供应商标配」。中间一个方框标「② 组态:把点位接进画面,做成实时数值与曲线」。最上一个方框标「③ 报警:给每个点位配一个上下限」,框内下方一行小字写「限值来源:产品样本的极限值,或工程师凭经验填」。左栏底部一个红色边框的结果框,框内竖排三行文字「⇒ 点位很多,判据很少」「⇒ 缓慢失效的先行量常常不在表上」「⇒ 所有报警一个级别,值班台被淹没」。右栏顶部有一条蓝色标题带,写「判据链思维:自上而下」。右栏内自上而下画四个横向长方框,方框之间用向下的蓝色粗箭头连接。最上一个方框标「① 列判断题:我要能回答哪几个问题」,框内下方三行小字写「温度链哪一环坏了?」「哪条支路的流量掉了?」「有没有东西在慢慢堵?」。第二个方框标「② 每个判断题反推需要哪几个量,以及它们要一起看」,框内下方一行小字写「例:判温度链要 T_fws、T_sup2、T_in 三点同时看,缺一环就断」。第三个方框标「③ 定取点位置、采样周期与保存期」,框内下方一行小字写「取点位置比传感器精度更决定这个数可不可用」。第四个方框标「④ 定分层与响应要求:这条报警报给谁、要他现在做什么」。右栏底部一个绿色边框的结果框,框内竖排三行文字「⇒ 每个点位都有它服务的那道判断题」「⇒ 点位数量可能更少,但没有哑点」「⇒ 分层是设计出来的,不是事后收敛出来的」。画面正下方横贯一条黄色说明带,写两行文字「⇒ 两栏的差别不在装了多少传感器,在于「这个数拿来判什么」这句话有没有人写下来」与「⚠ 点表思维不是懒惰,它是在失效模式少、链条短的系统里长出来的习惯 ⇒ 换到液冷机房才失效」。示意图,方框数量与位置只表示顺序关系,⛔ 不表示任何具体的点位数量与配置,⛔ 不得据图取值。
图1 两种设计顺序的对照。要读出的结论是:点表思维不是「做得不认真」,它是在失效模式少、链条短的风冷机房里长出来的合理习惯;⇒ 判它失效的判据不是「点位少」,而是「有没有一个量,你说不出它服务于哪道判断题」——说不出的那些就是哑点,它们占着带宽、占着存储、并且在越限时同样会响。示意图,⛔ 不得据图取值。

1.2 这门课的四道判断题

把上面那句话落到具体,本课认为一间冷板液冷机房的监控系统至少要能回答这四道题。它们后面会一直被引用。

题一(温度链):从设施水到设备进液,这条链上的每一段温升是不是还在设计位置上?如果设备进液温度偏高,是设施水偏高、分配单元逼近温度变差,还是二次侧输配段出了问题?

题二(分配):并联的这些支路,流量还是按设计比例分的吗?有没有某一条已经在悄悄少拿?

题三(趋势):有没有什么东西正在缓慢变坏、而所有量都还没越限?

题四(两侧):这台机柜报出来的温度问题,缺口在液侧还是风侧?

⚠ 这四道题不是穷举。泄漏那一类问题的判据体系属主是 R7-01 漏液防护:负压设计、检测与分区隔断,本课只把「漏液检测状态」作为一条独立通道接进监控系统(见 2.6),⛔ 不重复它的检测层次、响应时间分解与隔断粒度。能耗与自然冷却小时数那一类问题的属主是 R6-02 自然冷却小时数与气候区选址,本课不覆盖。

1.3 取点位置比传感器精度更决定这个数可不可用

这一条要说在最前面,因为它在评审里几乎从不被问,而它是「监控数据不可信」的第一大来源。

同一个物理量,取点不同就是不同的数。三个例子,都来自这条链上:

  • 进液温度:取在分配单元二次侧出口,与取在机柜快接头下游,中间差着一整段二次侧输配管路的温升。R1-03 机房热环境等级与供液温度等级(ASHRAE A 级与 W 级) 明确给出的口径是 T_in 取在机柜二次侧供液接口、快接头下游——因为设备厂商给的允许进液温度上限就是对着这个位置提的。⇒ 用分配单元出口的读数去核设备的进液温度要求,是拿一个偏低的数去核,会把裕量算多。
  • 机柜进风温度:R2-03 机房风侧末端与送风方式选型 的口径是取在机柜前门,上中下三点。取单点、或者取机房平均值,都会把回流造成的柜顶偏高抹掉——而回流恰恰是最常见的风侧问题。
  • 过滤器压差:必须是同一个过滤器的进出口两点之差。如果一侧的压力取自主管上的一个共用压力表,那么这个「压差」里混进了主管沿程压降的变化,⇒ 流量一变它就变,趋势判据会被负载波动淹掉。

一条可以直接用的评审提问:随便指着组态画面上的一个数,问「这个数取在哪个位置?为什么是那个位置?」。答不出来的那些量,它们的历史数据在做趋势分析时是不可用的——因为你不知道它在跟什么比。

1.4 从判据反查点位:一个可执行的核法

评审别人交来的监控方案时,用这个顺序,而不是数点位:

  1. 把 1.2 的四道判断题(加上你自己项目特有的题)逐条列出来;
  2. 对每一道题,写出回答它需要哪几个量同时可读——注意是「同时」,温度链那道题需要三个点位同时有值,缺一个这道题就答不了;
  3. 到方案的点表里逐个找,找不到的记为缺口;
  4. 反过来,点表里凡是没有出现在任何一道题里的量,逐个问「它服务于什么」,问不出来的记为哑点;
  5. 缺口要补,哑点要么补上它服务的判断题、要么删掉。

⚠ 第 5 步的「删掉」通常做不成,也不必强求——哑点的成本主要是它会响。⇒ 更现实的处置是:把它降到「仅记录」那一层(第 3 讲),不推送到值班台。这一步本身就能把告警量降下来一大截。

1.5 采样周期、保存期与两条容易踩的坑

这三件是点位定下来之后立刻要定的,⚠ 而它们直接决定趋势判据能不能做。

采样周期要按「这个量变化多快」定,⛔ 不是全系统一个值:

  • 漏液检测状态:事件驱动,状态一变立刻上报,⛔ 不许轮询——R7-01 漏液防护:负压设计、检测与分区隔断 里 t_det 是响应时间账的第一段,轮询周期会直接加在它上面;
  • 压力、流量:这两个量在泵切换、阀动作时会有快速瞬变,采样周期约 1~5 s(⚠ 行业典型区间,⛔ 不是标准要求);
  • 温度:受热惯性限制本来就变得慢,约 5~30 s 通常够用(⚠ 同上);
  • 过滤器压差:它是本课最重要的趋势量之一,采样本身不必快,但必须长期连续,⚠ 别用「按需读表」代替。

保存期的判据只有一条:要建立基线,就必须存得下一个完整的负载周期,外加足够长的历史用来看斜率。算力中心的负载周期通常是「日 + 周」两层(白天/夜间、工作日/周末),批任务型场景还会叠一层更长的。⇒ 原始分辨率数据至少要覆盖数周;降采样后的长期曲线建议按年保存——因为过滤器与水质这类量的有意义变化尺度就是月到年。

⛔ 两条坑:

  • 坑一:只存报警,不存原值。这样做之后,趋势判据永远做不出来——你手上只有「越限了几次」,没有「它是怎么走到那儿的」。
  • 坑二:降采样时只存平均值。把 1 s 的数据压成 5 min 的平均值,会把瞬时的流量骤降完全抹平。⇒ 降采样至少要同时保留最大值、最小值与平均值三条。

1.6 本讲小结

  1. 监控设计的顺序是判断题 → 量 → 取点 → 分层,⛔ 不是点表 → 限值(1.1、图1)。
  2. 本课认下的四道判断题:温度链、分配、趋势、两侧(1.2)。泄漏那一类的属主是 R7-01 漏液防护:负压设计、检测与分区隔断。
  3. 取点位置比传感器精度更决定这个数可不可用;评审提问=「这个数取在哪、为什么」(1.3)。
  4. 核方案用「缺口 + 哑点」双向查(1.4);哑点的现实处置是降到仅记录层,⛔ 不必强删。
  5. 采样周期按量分档、⛔ 不全系统一个值;保存期由「能不能建基线」倒推(1.5)。

后面还有 5 讲正文 · 关键公式 · 案例拆解 · 常见误区 · 动手做

会员专属

后续为会员深水区内容——四库数据与深度拆解。

查看会员方案