全液冷冷板系统参考设计及验证白皮书.docx

《全液冷冷板系统参考设计及验证白皮书.docx》由会员分享，可在线阅读，更多相关《全液冷冷板系统参考设计及验证白皮书.docx（36页珍藏版）》请在优知文库上搜索。

1、目录第一章液冷行业背景及技术优化方向031 .液冷行业背景及政策042 .液冷数据中心主流技术介绍及对比073 .先进冷板液冷数据中心介绍084 .冷板液冷服务器设计技术优化方向09第二章全液冷服务器系统架构设计101 .全液冷冷板服务器创新实践112 .系统组成及管路布局123 .通流方式选择及流量计算13第三章全液冷服务器冷板关键部件设计161.CPU冷板设计172 .内存液冷设计173 .硬盘液冷设计184 .PCIe/C)CP卡液计195.电源冷板设计21第四章全液冷服务器冷板性能测试231 .测试项目介绍242 .测试结果分析25第五章铝冷板全液冷方案设计与测试291 .铝冷板全液冷

2、方案设计302 .铝冷板性能与兼容性测试313 .铝冷板测试结果及分析32第六章冷板液冷未来思考展望351 .全液冷冷板技术应用拓展362 .冷板液冷新技术展望37第一章液冷行业背景及技术优化方向1 .液冷行业背景及政策2 .液冷数据中心主流技术介绍及对比3 .先进冷板液冷数据中心介绍4 .冷板液冷服务器设计技术优化方向03I全液冷冷板系统参考设计及验证白皮书1.1数据中心行业发展 及问题1.2碗中心有皿攵策 介绍1.液冷行业背景及政策国家十四五规划提出大力发展数字经济，计算力代表着生产力，而计算力的承载体就是数据中心。根据IDC发布算力报告指出：算力提升与经济发展成正相关关系，计算力指数每提

3、高一个点，数字经济会增长35%,GDP会增长1.8%。数据中心基础设施作为算力的载体已成为支撑数字经济的数字底座，而其本身也是碳排放大户，2022年，中国数据中心碳排放量相当于5000万辆燃油汽车的年排放总量.在双碳目标下，作为“耗电大户”数据中心的节能减排备受关注。当前，芯片功耗与服务器功耗逐步上升。与之对应，单机柜功率密度也不断增大.根据相关机构调研，2020年数据中心平均机架功率为85kW机柜，相比于2011、2017年有明显提高，年复合增长率达到15%。高功耗芯片，高密度服务器及单机柜密度的演进，对于传统风冷散热来说，既容易出现局部热点,影响换热性能；又需要不断降低送风温度，增大送风风

4、量，影响制冷能耗。因此，传统风冷制冷模式在换热性能及能耗优化方面逐步受限。液冷是一种新兴的冷却技术，该种技术通过采用液态冷却工质流动方式带走发热元件热量替代风冷换热中采用空气换热的模式。与风冷对比，液冷技术可以更好地支持高功耗芯片解热，保持芯片低温运行，延长寿命；充分利用室外自然冷源冷却，降低数据中心PUE;提高关键部件换热效率，减少服务器散热热点，支持机柜更高密度；降低数据中心噪声，提升数据中心环境适应性。因此，未来数据中心建设中，液冷技术的应用将会是在数据中心制冷方向的重要组成部分，也是实现绿色算力和双碳目标达成的重要举措。“碳中和成为全人类共识，已有130多个国家宣示了碳中和承诺。近年来

5、随着数据中心规模快速增长，其耗电量约占全球总用电量的2%,且还在急剧增加。Uptime全球数据中心报告2022指出，2014年以来，全球大型数据中心PUE连续8年维持在1.6左右，数据中心能效水平仍存在较大优化空间.为推动数据中心绿色发展，多个国家、国际组织发布相关政策。多地已开始限制高PUE的数据中心的建设，相关政策和数据中心机房对PUE提出明确限制，鼓励液冷技术、IT设备高密度集成技术及IT设备能效提升技术实施，促进数据中心液冷技术进一步发展。1.3液冷数据中心标准化 建设标准化是衡量技术成熟度的重要凭证，对于液冷数据中心的标准化建设，一直以来都是行业领域、学术界与工业界关注的重点。国内标

6、准方面，已发布1项与电子设备相关的冷板液冷国家标准,GB/T15428-1995电子设备用冷板设计导则.该标准主要规定电子设备使用的冷板换热计算和结构设计，对于冷板核心参数定义，性能定义，材料定义，加工工艺，漏液检测定义和测试方法及要求均不涉及；同时据统计，近五年来国内有十余家标准组织或技术组织正在开展液冷技术相关的标准化工作，已发布行业标准9项，团体标准28项，涉及液冷部件，节点，系统和数据中心四个层面的技术要求和测试方法，适用于液冷系统的设计、施工、部署、运维、测试等环节的技术指导（清单详见下表）；此外国内也已发布20余项白皮书或研究报告成果。表L现有液冷数据中心标准序号标准类别标准编号标

7、准名称归口单位1国家标准GB/T15428-1995电子设备用冷板设计导则全国电工电子设备结构综合标准化技术委员会2行业标准YD/T4024-2022数据中心液冷服务器系统总体技术要求和测试方法中国通信标准化协会3行准YD/T3983-2021数据中心液冷服务器系统能源使用效率技术要求和测I试方法中国通信标准化协会4行业标准YlYT3982-2021数据中心液冷系统冷却工质体技术要求和测试方法中国通信标准化协会5行业标准YD/T3981-2021数据中心喷淋式液冷服务器系统技术要求和沃Ji昉法中国通信标准化协会6行业标准YD/T3980-2021数据中心冷板式液冷服务器系统技术要求和沃方法中国

8、通信标准化协会7行业标准YD/T3979-2021数据中心浸没式液冷服务器系统技术要求和测试方法中国通信标准化协会8行业标准YD/T4274-2023单相浸没式液冷数据中心设计要求中国通信标准化协会9行业标准YD/T4411-2023浸没式液冷数据中心测试方法中国通信标准化协会10团体标准T/CESA1249.1-2023服务器及存储设备用液冷装置技术规范第1部分：冷板中国电子工业标准化技术协会11团体标准T/CESA1249.2-2023服务器及存储设备用液冷装置技术规范第2部分：连接系统中国电子工业标准化技术协会12团体标准T/CESA1249.3-2023服务器及存储设备用液冷装置技术规

9、范第3部分：冷量分配单元中国电子工业标准化技术协会13团体标准T/CESA1249.4-2023服务器及存储设备用液冷装置技术规范第4部分：液冷监控中国电子工业标准化技术协会14团体标准T/CESA1271-2023液冷式高性能计算机技术参考架构中国电子工业标准化技术协会15团体标准T/CESA1272-2023高性能计算机浸没式液冷系统技术要求中国电子工业标准化技术协会16团体标准T/CCSA239.2-2020服务器用液冷系统第2部分：喷淋式中国通信标准化协会序号标准类别标准编号标准名称归口单位17团体标准T/CCSA239.1-2018服务器用液冷系统第1部分：间接冷板式中国通信标准化协

10、会18团体标准T0E087-2020单相浸没式直接液冷数据中心设计规范中国电子学会19团体标准T/QE091-2020温水冷板式间接液冷数据中心设计规范中国电子学会20团体标准T/QE090-2020数据中心温水冷板式间接液冷设备通用技术要求中国电子学会21团体标准T/QE0882020非水冷板式间接液冷数据中心设计规范中国电子学会22团体标准TaE089-2020喷淋式直接液冷数据中心设计规范中国电子学会23团体标准T0E098-2021液/气双通道热管冷板间接液冷数据中心设计规范中国电子学会24团体标准T0E097-2021液/气双通道热管冷板间接液冷数据中心散热设备通用技术规范中国电子学

11、会25团体标准T/QE096-2021相变浸没式直接液冷数据中心设计规范中国电子学会26团体标准T/QE050-2018液-气双通道散热数据中心机房验收标准及测试方法中国电子学会27团体标准T/QE051-2018液-气双通道散热数据中心机房设计规范中国电子学会28团体标准T/ZSA216-2023相变浸没式直接液冷数据中心设计规范中关村标准化协会29团体标准T/SHSIC0202-2023数据中心浸没式液冷系统单项冷却工质技术指标和测试方法上海市通信学会30团体标准T/CA307-2023数据中心浸没液冷系统破冠类冷却工质技术要求和测试规范中国通信工业吩会在国外标准方面，ASHRAETC9.

12、9定义了供给冷量分配单元的一次侧冷却水的温度等级，从W17到W+共6个温度等级，的内容如下表所示。表2.ASHRAE机房等级划分及参数ASHRAE机房等级W17W27W32W40W45W+一次侧供水温度17X27324045452.液冷数据中心主流技术介绍及对比2.1数据中心有业发展及问题冷板液冷和浸没式液冷是目前数据中心行业应用的两种主流液冷技术。冷板式液冷是指采用液体作为传热工质在高导热金属冷板内部流道流动，通过热传递对热源实现冷却的非接触式液体冷却技术。浸没式液冷是将发热电子元器件直接浸没在非导电冷却工质中，通过冷却工质循环流动来进行散热的接触式冷却技术。根据液冷工质在换热过程中是否会发

13、生液气相转变，冷板和浸没式液冷又分成单相式和两相式.单相冷板和单相没式液冷由于技术相对简单，在教科研、互联网和通信等多行业里已经有一些典型部署案例。相比单相浸没式液冷，单相冷板式液冷主要有以下优势：I技术相对成熟，生态完善，对机柜和服务器改造小，初投资少，成本优势明显.I不改变客户的使用习惯，运维模式、机房承重与风冷场景也基本一致。I冷却工质不直接接触芯片和服务器内其他部件，对材料兼容性要求低，可以相对容易地与不同厂商和型号的计算设备兼容，提供更多的硬件选择空间；对服务器高速链路信号完整性也无影响。I占用空间相对较少，适合于对空间有限制的数据中心和计算环境.I对冷却工质的需求量少，冷板液冷冷却

14、工质相比浸没式液冷用氟化液也更加环保。I单芯片散热能力在IkW以上,相比单相浸没式液冷有更高的单点散热能力。除此之外，相比于单相浸没式液冷，单相冷板式液冷（以下均简称为冷板式液冷）的缺点主要集中在以下几个方面：I数据中心系统PUE更高：由于冷板式液冷服务器中冷板结构多数仅覆盖CPU、GPU等高功耗发热部件，其余部件常以风冷辅助冷却，服务器仍需配置冷板及风扇两套冷却部件，数据中心需要配置CDU和空调两套冷却系统。随着空调及压缩机制冷，通常冷板液冷数据中心PUE高于浸没式液冷系统（II系统存在漏液短路风险：冷板式液冷系统通常冷却工质选择去离子水或乙二醇/丙二醇水溶液，如果冷却工质与冷板材质选择和后期维护不当，长期运行后可能出现腐蚀，导致冷却工质泄露，最终对服务器造成宕机或者烧板的风险。I基于上述冷板式液冷的优劣势情况，鉴于冷板式液冷在整体系统架构改造，产业链成熟度，初投资等方面均有优势.如果冷板液冷能够逐步增加液冷覆盖面积，同时避免因冷却工质泄露导致的系统短路风险，冷板式液冷优势会更加明显.3.先进冷板液冷数据中心介绍为了更清晰地了解先进冷板式液冷数据中心形态功能及应用情况，选取行业数据中心典型代表进行分析，详细数据如下：3.1先进冷板液冷数据中心介绍 FrontierFrOntier系统安装在美国田纳西州ORNL椽树岭国家实验室，系统总共配有7