YD∕T 3823-2021 整机柜服务器散热子系统技术要求(通信).pdf

ICS 33.040.40M32中 华 人 民 共 和 国 通 信 行 业 标 准YDYD/T XXXX-XXXX整机柜服务器散热子系统技术要求Technical specification of thermal subsystem for rack server（报批稿）XXXX-XX-XX 发布XXXX-XX-XX 实施中华人民共和国工业和信息化部 发布YD/T XXXXXXXXXI目 次 前言前言 .II 1 范围范围 .1 2 规范性引用文件规范性引用文件 .1 3 术语、定义和缩略语术语、定义和缩略语 .1 3.1 术语和定义 .1 3.2 缩略语 .2 4 散热子系统组件技术要求散热子系统组件技术要求 .3 4.1 系统组成 .3 4.2 风扇模组 .4 4.3 风扇盒（FAN CAGE）规格 .4 4.4 风扇（FAN）规格 .5 4.5 风扇背板（FB） .5 4.6 服务器节点散热组件设计要求 .6 5 散热管理与控制要求散热管理与控制要求 .7 5.1 风扇控制 .7 5.2 服务器节点技术要求 .8 5.3 RMC 功能技术要求 .8 5.4 温度监控与告警 .9 5.5 部件异常情况处理 .9 5.6 特殊情况应对 .9 6 其他独立部件的散热要求其他独立部件的散热要求 .9 6.1 电源 .9 6.2 交换机 .9 6.3 RMC 模块 .10 6.4 机柜背板 .10 6.5 供电铜排 .10 XX/T XXXX-XXXXII 前 言 本标准是整机柜服务器系列标准之一。该系列标准的名称及结构如下： 整机柜服务器整体技术要求 整机柜服务器机柜子系统技术要求 整机柜服务器散热子系统技术要求 整机柜服务器供电子系统技术要求 整机柜服务器管理子系统技术要求 整机柜服务器节点子系统技术要求 本标准按照 GB/T1.1-2009 给出的规则起草。 注意本标准的某些内容可能涉及专利，本标准的发布机构不承担识别这些专利的责任。 本标准由中国通信标准化协会提出并归口。 本标准的起草单位：北京百度网讯科技有限公司，阿里巴巴（中国） 有限公司，深圳市腾讯计算机系统有限公司，中国移动通信集团公司，中国电信集团公司，中国信息通信研究院，中国联合网络通信集团有限公司。 本标准的主要起草人 ： 陈佛林、郭广亮、唐华斌、张海涛、谭显光、龚海峰、李晓宇、郭亮、李洁、王月、温源 YD/T XXXXXXXXX1整机柜服务器散热子系统技术要求 1 1 范围 本标准规定了整机柜散热系统的系统设计要求、 主要组成部件以及散热管理策略， 主要用于指导整机柜服务器散热子系统产品的设计与制造。 本标准适用于整机柜定制化服务器散热系统的架构设计与功能要求， 2 2 规范性引用文件 下列文件中所含条文通过在本标准中引用而成为本标准的条文。 在本标准出版时， 凡是注明日期的引用文件，仅所注日期的版本适用于本标准；凡是不注日期的引用文件，其最新版本适用于本标准。 YD/T 3292-2017 整机柜服务器总体技术要求 3 3 术语、定义和缩略语 3.1 术语和定义 3.1.1 铜排 busbar 又称母排，供电传输介质。 3.1.2 风扇 fan 单体风扇，可无级调节转速，为整机柜服务器系统提供散热所需要的气流。 3.1.3 风扇盒 fan Cage 由单体风扇及其固定的结构外壳构成的组件。 3.1.4 风扇背板 fan Board 由电源管理模块和风扇调速模块构成的电路板组件 3.1.5 风扇模组 fan tray 由结构外壳、风扇背板和若干个风扇盒构成的组件。 XX/T XXXX-XXXX23.1.6 机柜背板 rack backplane 由 I2C 通信模块和控制单元构成的电路板组件 3.1.7 散热区域 cooling zone 由若干个风扇模组、发热元器件及相关散热组件构成的气流相对独立的散热空间。 3.1.8 服务器节点 node 可部署于整机柜中的服务器，比机架式服务器少了风扇和电源组件。 3.1.9 整机柜服务器 rack server 由多个服务器节点、机柜、电源模块、风扇模组以及其它管理板卡集成的组合体;能进行集中供电、集中散热、集中管理的定制化服务器解决方案，可内置计算节点、存储节点、网络节点并提供整体的电源和散热方案。 3.1.10 电源框 power shelf 为整机柜服务器供电的电源框体组件，可安装机柜管理单元和电源模块。 3.1.11 电源区间 power zone 整机柜服务器中放置有电源框的区域。 3.1.12 机柜 rack 机架框体 3.1.13 节点电源连接器 clip 节点电源连接器主要由夹子和夹板两部分组成，用于服务器节点连接铜排取电。 3.2 缩略语 BMC 基板管理控制器 Baseboard Management Controller CCC 中国强制认证 China Compulsory Certification CPU 中央处理器 Central Processing Unit FB 风扇背板 Fan Board YD/T XXXXXXXXX3MB 服务器主板 Mother Board PCH 平台控制器 Platform Controller Hub PMBus 电源管理总线 Power Management Bus PSU 电源模块，又称电源模组 Power Supply Unit RBP 机柜背板 Rack Backplane RMC 机柜管理单元 Rack Management Controller UL 美国保险商实验室 Underwriter Laboratories Inc. VRM 电压调节模组 Voltage Regulator Module 4 4 散热子系统组件技术要求 4.1 系统组成 散热子系统主要包括机柜、风扇模组、服务器节点散热组件及相应的控制组件。整机柜俯视剖面图如图 1 所示，风扇模组置于整机柜后部，风扇模组与服务器节点之间的区域为共享散热区域，各个风扇模组之间可相互贯通及风量共享。 整机柜服务器散热系统应采用以下设计方案： 集中式散热 ： 服务器节点中不含单独的风扇模块，所有风扇模块集中置于整机柜后部，冷却气流从机柜前部进入、机柜后部排出； 集中式管理：整机柜风扇模块通过机柜背板、风扇背板和机柜管理模块（RMC） 进行风扇转速控制，对整机柜服务器进行散热管理； 热拔插维护：整机柜服务器风扇统一在机柜后侧维护，风扇盒（Fan Cage）和风扇模组（Fan Tray）均可实现热拔插操作。 图 1 整机柜俯视剖面图 4.2 风扇模组 4.2.1 风扇模组组成 XX/T XXXX-XXXX4风扇模组的参数及说明如下，示意图见图 2。 a) 宜使用大尺寸、高效率的轴流风扇； b) 风扇单体与其外部结构框体组合为一个风扇盒（Fan Cage）； c) 单个风扇模组由数个风扇盒（Fan Cage）、风扇背板（FB）以及结构部件组成； d) 单个风扇模组通过其风扇背板（FB）从机柜铜排取电供风扇工作； e) 单个风扇模组（Fan Tray）高度为 4SU。 图 2 风扇模组示意图 4.2.2 风扇模组（Fan Tray）规格 风扇模组的规格见表 1。 表 1 风扇模组规格 项目 规格描述 宽度 21 英寸 高度 4SU(与结构相匹配) 运维 应支持热插拔 风扇数量 3 个 安装位置 1）位于整机柜上、下半柜背部， 2）能以 1SU（46.5mm）为最小单位在高度方向可自由调整 拆装方式 1）后插拔 2）免工具拆装 4.3 风扇盒（Fan Cage）规格 风扇盒的规格见表 2。 表 2 风扇盒规格 项目 规格描述 尺寸 总深度50mm(包括防回流百叶、风扇、结构外壳等深度) 固定方式 风扇盒与风扇模组之间采用卡扣式安装，免工具拆装 运维 支持热插拔 安规 1）符合 UL 安规认证要求。 2）风扇进、出风两侧需加装防护网，防护网开孔率应大于 60% 4.4 风扇（Fan）规格 YD/T XXXXXXXXX5风扇的规格见表 3。 表 3 风扇规格 项目 规格描述 尺寸 外形尺寸：140mm*140mm*38mm 详细尺寸见下图： 风扇接口 采用 8 pin 风扇连接器 PIN 功能定义 PIN1：与 PIN5 连接 PIN2：LED+/绿灯 PIN3：LED- PIN4: LED+/红灯 PIN5：电源(负) PIN6：PWM 控制信号 PIN7：转速信号 PIN8：电源(正) 使用寿命 50000 小时/60，15%65%RH 连接线缆 满足 UL 安规认证要求， 供电线径宜为 AWG#22 4.5 风扇背板（FB） 风扇背板是风扇模组（Fan Tray）从铜排取电以及与机柜背板传递信号的连接板卡。 a) 取电方式：通过连接器从铜排取电供给风扇使用； b) 连接器 1（连接风扇）：8PIN，宜采用 MOLEX 44133-0800 或同等规格的连接器； c) 连接器 2（连接机柜背板）：16PIN， 宜采用 MOLEX 5016451620 或同等规格的连接器； d) 连接器 1 的 PIN 定义参见表 4： 表 4 风扇端子定义 PIN 编号 功能定义 注释 pin 1 Present/Jump to Pin5 在位信号 pin 2 Led (Green)/+ LED 绿灯+ pin 3 Led- LED- pin 4 Led (red)/+ LED 红灯+ XX/T XXXX-XXXX6pin 5 GND 接地 pin 6 PWM PWM 信号 pin 7 Tach 转速信号 pin 8 +12V 12V 电源正极 e) 连接器 2 的 PIN 定义参见表 5 表 5 风扇背板连接机柜背板端子定义 PIN 编号 功能定义 注释 pin 1 PWM PWM 控制信号 pin 2 Present1 风扇 1 在位信号 pin 3 TACH_FAN1 风扇 1 转速信号 pin 4 LED1 风扇 1 LED 灯信号 pin 5 Present2 风扇 2 在位信号 pin 6 TACH_FAN2 风扇 2 转速信号 pin 7 LED2 风扇 2 LED 灯信号 pin 8 Present3 风扇 3 在位信号 pin 9 TACH_FAN3 风扇 3 转速信号 pin 10 LED3 风扇 3 LED 灯信号 pin 11 GND 接地 pin 12 Reserve 预留 pin 13 Reserve 预留 pin 14 Reserve 预留 pin 15 Reserve 预留 pin 16 Reserve 预留 4.6 服务器节点散热组件设计要求 4.6.1 CPU 散热器 CPU 散热器的技术要求见表 6。 表 6 CPU 散热器技术要求 项目 技术要求 尺寸要求 散热器长、宽、高应基于系统实际布局情况进行优化设计，宽度建议值为 90mm 安装方式 螺丝固定 性能要求 在特定风量和环境温度下应能满足 CPU TDP 散热需求，散热器热阻值 Rca 宜小于0.25/W (15 CFM 风量)， 安装紧固力 参考相关主板以及 CPU 设计文档 4.6.2 其他器件散热片 YD/T XXXXXXXXX7其他散热片的技术要求见表 7。 表 7 其他散热片技术要求 项目 技术要求 材质工艺 宜采用铝挤散热器 适用对象 主板上的 VRM，PCH 以及其它板卡上的元器件 固定方式 胶钉或者螺丝固定 4.6.3 导风罩 导风罩的技术要求见表 8。 表 8 导风罩技术要求 项目 技术要求 适用范围 优化节点内部气流组织，有效引导冷却气流通过具有高发热量的器件（如CPU）以及温度敏感器件（如硬盘）的区域 材料 宜采用塑料或钣金件，且材料防火等级应满足 UL V0 标准 固定方式 螺丝固定，宜免工具拆装 5 5 散热管理与控制要求 5.1 风扇控制 5.1.1 控制方式 控制方式分为RMC统一控速和机柜背板独立控速两种，软硬件架构设计应能同时支持两种控制方式。 a) RMC 统一控速: 由RMC获取所有服务器节点的关键元器件温度信息或转速需求，依照相应的风扇控制策略分别控制各个散热区域的风扇转速。 b) 机柜背板独立控速： 由背板获取其对应散热区域内各节点温度信息或转速需求， 依照相应的风扇控制策略来控制该区域的风扇转速。 5.1.2 风扇控制策略 服务器节点进风口温度和CPU温度应作为风扇转速调节的基础输入信息，应先以节点进风口温度（即环境温度）确定系统允许的最低风扇转速，再依据CPU温度在最低转速基础上对风扇转速进行调节；其他温度信息如内存温度，PCH温度、NVME硬盘温度、PCIe卡芯片温度等均宜参与风扇转速控制，以便确保系统所有元器件无散热风险。 基于服务器节点配置的风扇控制策略应遵循以下原则： a） 单个散热区域内（最小为4SU）的服务器节点为相同配置时（相同功率密度和流阻类型），该风扇控制策略输出的风扇转速值应能实现整体功耗最优； XX/T XXXX-XXXX8 b） 单个散热区域内（最小为4SU）的服务器节点为不同配置混插时（不同功率密度和流阻类型），该风扇控制策略输出的风扇转速值应能满足所有混插服务器节点的散热需求。 5.1.3 风扇控制技术要求： 风扇控制的技术要求如下： a） 以服务器进风温度设定系统最低允许风扇转速； b） 以监测的关键器件温度作为风扇控制输入参数， 在最低风扇转速基础上进一步动态调节风扇转速； c） 风扇控制策略应保证所有元器件温度低于设计限值， 整机柜服务器进风口与出风口的温差宜尽量控制在10以上，以便与数据中心暖通设计温差相匹配； d） 风扇控制策略应包含RMC板卡故障、机柜背板故障、风扇背板故障、风扇故障、环境温度或元器件温度偏高等异常情况出现时的应对措施。 5.1.4 风扇转速的响应周期 整机柜集中管理系统的软硬件架构应能保障风扇转速对于温度变化的响应周期小于10秒。 即从收集温度信息，根据风扇控制策略进行判断，发送风扇转速控制指令并到达相应的转速，整个响应周期时间不大于10秒。 5.2 服务器节点技术要求 5.2.1 服务器节点温度 服务器节点应提供关键元器件温度作为风扇控制策略的输入参数，关键温度包括但不限于：服务器节点进风口温度，CPU温度、VRM温度、PCH温度、内存温度、硬盘温度以及PCIe卡芯片温度。 5.2.2 温度传感器技术要求 温度传感器的技术要求见表 9。 表 9 温度传感器技术要求 温度传感器定义 1）板卡外置温度传感器： 包括但不限于服务器节点进风、出口温度传感器, 风扇控制板温度传感器，电源进风口温度传感器、RMC进风口温度。 2）元器件内嵌温度传感器： 包括但不限于CPU温度传感器，PCH温度传感器，内存温度传感器，硬盘温度传感器。 温度传感器的位置要求 1）以探测环境温度为目的的传感器（如进、出风口温度传感器）应避免发热元器件、气体回流等因素的干扰，能准确反映所需量测的环境温度 2）以探测器件温度为目的的传感器，应尽量靠近测量目标，且通过软件方法修正测量误差。 YD/T XXXXXXXXX9温度传感器精度、分辨率与采样频率 1）环境温度传感器精度误差应控制在1.5以内，通过软件修正的方法，精度可修正到1以内。（注：精度是指环境温度传感器读数与真实进风口空气温度的差值）。 2）温度传感器的精度应以0.5为最小分辨单位。 3）温度采样频率宜不低于1次每秒。 5.3 RMC 功能技术要求 RMC 的功能及技术要求如下： a）可收集各服务器节点的详细配置信息； b） 可收集所有服务器节点的关键温度信息：包括但不限于各个服务器节点进风温度、CPU温度、内存、PCH、硬盘等关键器件温度； c）可收集所有风扇模组的转速、PWM信号信息； d）可收集所有服务器节点的功耗信息、风扇墙功耗信息、元器件功耗信息以及整机柜功耗信息 5.4 温度监控与告警 CPU、PCH、内存、硬盘、服务器节点进风口等温度应作为关键温度被机柜管理系统实时监控。当温度超过其告警限值时， 机柜管理系统应能使该散热区域对应的风扇采取应对措施以保证服务器的散热安全。 针对关键器件温度状况应有三级响应机制。第一级为正常控制状态（Normal） ； 第二级为警告控制状态（warning）；第三级为紧急控制状态（critical）。各级别的温度告警设定值可基于应用条件和器件温度规格确定，当第二和第三级状态发生时，整机柜服务器管理控制系统（RMC） 应生成对应的log日志，且迅速启动响应机制，提升风扇到预设的固定高转速以保障散热安全。 5.5 部件异常情况处理 部件异常情况，处理方式如下： a）当RMC侦测不到当前散热区域的中的某个或某几个服务器的温度值时，当前散热区域对应的风扇转速须保持某特定高转速以保障对应服务器节点的散热安全 ； b）当RMC或RBP异常时，风扇转速须保持某特定高转速以保障对应服务器节点的散热安全； c） 当某散热区域有风扇异常（风扇不在位，转速异常或者风扇故障） 时，其余风扇转速须保持某特定高转速以保障服务器节点的散热安全。 注：具体风扇转速值需依据节点特点（配置、流阻、功率密度）基于散热测试结果确定。 5.6 特殊情况应对 5.6.1 过热保护 保留降频与关机两级保护机制。当服务器节点内的元器件温度持续超过极限温度时，服务器可自动降频或关机以实现自我保护。 5.6.2 运维情况 硬盘托盘、服务器节点以及风扇盒需在线运维时，总体散热方案包括风扇控制策略以及导风罩设计应能保证系统的散热安全性 6 6 其他独立部件的散热要求 XX/T XXXX-XXXX106.1 电源 电源的散热要求如下： a）整机柜结构设计应保证服务器节点区域与电源区域的隔离，避免局部漏风/回流情况出现； b）电源依靠其内部风扇进行散热，其气流方向应与整机柜气流方向一致； c）电源应能监控其自身进风口温度以及内部关键器件温度，电源内部风扇应可智能调速以便满足散热需求； d）电源区域后方的机柜背部若需开孔，则开孔率应满足电源散热风量需求； e）RMC能通过PMBus对所有电源模块进行状态监控以及控制。 当出现过热风险（进风温度过高、内部器件温度过高、电源风扇故障）时， PSU能通过PMBus给出过温保护、内部风扇故障保护等告警。 6.2 交换机 交换机的散热要求如下： a）整机柜结构设计应保证服务器节点区域与交换机区域的隔离，避免漏风/回流情况出现； b）交换机依靠其内部风扇进行散热，气流方向应与整机柜气流方向一致； c） 交换机应能监控其自身进风口温度以及内部关键器件温度， 交换机内部风扇应可智能调速以便满足散热需求； d） 交换机后方不应有阻挡气流的结构件，对应交换机区域的机柜后部若需开孔，则开孔率应满足散热风量需求； 6.3 RMC 模块 RMC 模块的散热要求如下： a）RMC模块在电源框与电源模块并列安装； b）RMC模块元器件采用无风扇被动式散热； c）RMC模块实际运行功耗应控制在10W以内； d）RMC模块前面板应密闭以避免电源模块排除的热风回流； e）RMC模块内部主要器件表面宜安装散热片，元器件工作温度应低于其规格要求的温度限值。 6.4 机柜背板 机柜背板的散热要求如下： a）背板上主要器件表面宜安装散热片，元器件工作温度应低于其规格要求的温度限值； b）单块背板实际运行功耗宜不超过5W； c）背板模块结构开孔应能满足背板散热需求。 6.5 供电铜排 供电铜排的散热要求如下： a）最高铜排工作温度应小于70； b）铜排所处区域的空气温度，电源铜排与机柜铜排连接、服务器节点供电连接器与机柜铜排连接处的温度应符合CCC或UL安规对温升的要求。