摘要：曙光节能技术(北京)股份有限公司(以下简称“曙光节能公司”)是一家以高效制冷技术为核心的数据中心整体解决方案供应商，主要从事液态冷却产品、机房空调产品、机房温湿度控制产品、机房微模块产品研究、开发、销售，并围绕上述产品提供软件开发、系统集成和技术服务，是中国数据中心制冷领域的领军企业。

　　一、 技术名称

　　冷板式液冷服务器技术

　　二、 适用范围

　　银行、保险、证券等金融行业;移动、联通、电信等通信行业;IDC、政府机关、交通运输、医疗卫生、高等学校、科研院所等大型企事业及政府机构，以及一切需用数据中心的行业和信息化节能。

　　三、 技术提供方

　　1、企业名称：曙光节能技术(北京)股份有限公司

　　2、企业logo：

　　3、企业介绍：曙光节能技术(北京)股份有限公司(以下简称“曙光节能公司”)是一家以高效制冷技术为核心的数据中心整体解决方案供应商，主要从事液态冷却产品、机房空调产品、机房温湿度控制产品、机房微模块产品研究、开发、销售，并围绕上述产品提供软件开发、系统集成和技术服务，是中国数据中心制冷领域的领军企业。

　　公司产品及解决方案广泛应用于科研院所、军工、教育、医疗、金融、轨道交通等行业，可满足各类型数据中心的中、高密度应用需求，特别是对产品节能性和美观度有要求的用户。

　　从数据中心规划设计到部署实施，从项目验收到运维管理，曙光节能公司为用户提供数据中心全生命周期建设服务。曙光节能，为实现更深绿的数据中心，贡献自己的价值。

　　四、 技术原理

　　1.现有技术存在的问题：

　　自服务器诞生以来，散热一直是一个难以突破的技术瓶颈，而随着它的发展，解决散热问题的重要性日益凸显。常见的服务器主要依靠的是通过冷空气进行制冷的手段，但是随着超级计算机的发展，芯片的集成度以及计算速度不断提高，能耗也不断增加，散热问题愈发亟待解决。

　　风冷已经不足以满足目前的制冷需求，甚至散热已经制约了服务器和数据中心的发展。传统的风冷散热方式是直接移热方式, 依靠单相流体的对流换热方法和强制风冷方法只能用于热流密度不大于10W/ cm2的电子器件, 对于热流密度大于10W/ cm2就显得无能为力。然而，CPU 芯片的发热量已由几年前的1×105 W/ m2 左右猛增到现在的1×106 W/ m2 左右。

　　如果散热不良,产生的过高温度不仅会降低芯片的工作稳定性, 增加出错率, 同时还会因为模块内部与外部环境间过大的温差而产生过大的热应力, 影响芯片的电性能、工作频率、机械强度及可靠性。研究和实际应用表明, 电子元件的故障发生率是随工作温度的提高而呈指数关系增长的 , 单个半导体元件的温度每升高10℃, 系统的可靠性将降低50%。由于高温会对电子元器件的性能产生非常有害的影响, 例如高温会危及到半导体的结点、损伤电路的连接界面, 增加导体的阻值和形成机械应力的损伤。

　　因此，液体冷却服务器应运而生。“液冷”是无数高性能计算机用户的梦想，但受制于技术成熟度、成本等因素，液冷高性能计算机始终距离普通用户很遥远。曙光信息产业(北京)有限公司潜心积淀、突破瓶颈，推出了液体冷却服务器，技术成熟并优先控制成本，真正实现了液冷高性能计算机的产业化。

　　2.本技术原理：

　　冷板式液冷服务器技术利用工作流体作为中间热量传输的媒介，将热量由热区传递到远处再进行冷却。在该技术中，工作液体与被冷却对象分离，工作液体不与电子器件直接接触，而是通过液冷板等高效热传导部件将被冷却对象的热量传递到冷媒中。该技术将冷却剂直接导向热源，同时由于液体比空气的比热大，散热速度远远大于空气，因此制冷效率远高于风冷散热，每单位体积所传输的热量即散热效率高达1000倍。该技术可有效解决高密度服务器的散热问题，降低冷却系统能耗而且降低噪声。

　　服务器主板上除芯片外的其他发热元器件，则通过风扇带走热量，由于主板上发热量最大计算芯片部分由液体冷却方式带走热量，因此可以大大减少风扇的数量，以及冷却这部分空气所需的空调的数量。

　　3.创新之处

　　在液体冷却服务器系统上集成管理模块。在整箱刀片式液冷服务器中的CPU和GPU芯片上安装固定水冷板，水冷板有进液口和出液口，其中有工作液体循环流动。

　　冷流体由外界送入机柜内的竖直分液器，并将其平均分配送入整柜中不同高度位置的水平分液器，水平分液器与刀箱相连，并将冷流体平均分配，送给该刀箱中的所有刀片中进行制冷。冷流体流入冷板中，而CPU和GPU芯片在运行时发出的热量被工作液体带走，热流体流出水冷板。

　　整个刀箱内所有刀片流出的热流体汇集进入水平分液器中的热流体集液器，整个机柜中所有刀箱流出的热流体汇集进入竖直分液器，然后加压送出外界进行制冷，然后送回竖直分液器，从而完成整个循环。并集成有液冷控制系统，可根据CPU核心温度自动调节流量，在检测到泄漏时进行报警并应急处理。

　　CDM原理示意图如下：

　　室外机的冷冻水经过CDM进水管过板换，将CDM内侧的热量带走，从板换的出口过出水管回到室外机。

　　CDM内循环管路的纯净水经过循环泵、流量传感器、压力传感器、温度传感器后，供给VCDU ,然后分液进入TC4600E-LP服务器;

　　TC4600E-LP换热后的热水经过VCDU，回到CDM回水管，经过压力传感器、温度传感器，回到板换中进行降温冷却。

　　TC4600E-LP刀箱的实物如下所示：

　　4.应用效果

　　曙光公司利用液体来冷却服务器芯片，摒弃了换热不良的风冷散热器，不但提高了制冷效率，而且大大减少了数据中心的机房专用空调的数量，从而节能降耗，且大大降低了噪音。

　　根据系统数据统计显示，系统能帮助用能单位节省95%以上的浪费能耗，采用节能型液体冷却服务器系统后的节能效率高达45%以上。

　　总部设在得克萨斯州理查森的Convey超级计算机公司首席科学家史蒂文·沃勒克说：“用好这种冷却技术非常、非常困难。因此我认为，这是一项认真的设计。这项冷却技术有可能扩展至百万万亿级的超级计算机。”

　　曙光信息产业(北京)有限公司的液体冷却服务器系统技术处于世界领先水平，我们的技术具有热插拔、流量压力自动控制、自动冲排液、对服务器内部结构改造不大等优势，与国外同行业相比也具有三至五年的领先优势。目前,曙光冷板式液冷服务器已经实现了量产和大规模商用。获得了北京市政府颁发的“北京市新技术新产品(服务)”证书。

　　五、 主要节能减排指标

　　曙光液冷服务器TC4600E-LP基于数据中心领域日益强烈的节能诉求，突破思维瓶颈，关注数据中心基础设施层面本身技术创新的同时，将服务器设施层面纳入数据中心节能工程中，在原有风冷TC4600E刀片服务器机构设计的基础上，将传统风冷散热片改型为液冷冷板式设计，使数据中心的设计PUE值得到大幅度降低。

　　在节能方面：服务器风机功耗降低70~80%，空调系统功耗降低70%，PUE优化至1.3;

　　在可靠性方面：大幅降低CPU和系统温度，提高元器件寿命，CPU核温度降低20~30℃;

　　在的降低噪音方面：服务器噪音降低20~30dB;

　　在计算性能方面：CPU可超频运行，性能提高5%。

　　使用TC4600E-LP冷板式液冷服务器，在项目初期建设时成本相比传统风冷解决方案增加5-15%(含机房基础设施设备)，相对于传统建设方案，液冷服务器运行2--3年便可收回初期多投入的成本。如下图所示：

　　六、 应用实例

　　1、 技术应用方式

　　应用各类型曙光液冷服务器进行各类型数据中心建设。

　　2、具体应用实例

　　2015年6月24日由中科院大气物理研究所牵头，联合中科曙光、计算技术研究所、网络信息中心共同启动的“‘地球系统数值模拟装置’的预研及原型系统建设”项目。“地球数值模拟装置”项目集高性能计算机、软件工具、支撑技术、地球数值模拟应用软件等于一体，借助该装置，科学家就可以实现对大气、洋流、地壳、生态等的仿真研究，用于还原或预测地球自然变化过程的应用，用于应对地球变化、防治大气污染、防灾减灾和环境治理等面临的问题，并将帮助人类更深刻地认识地球，使得我国科学家利用超级计算机对地球系统未来演变的科学预测成为可能。

　　为此，曙光采用了液冷刀片服务器，这是中国推出的第一款正式商业化的液冷刀片服务器，中科院大气物理研究所“‘地球系统数值模拟装置’的预研及原型系统建设”项目也成为了国内首例应用液冷服务器的数据中心。它采用液冷模块代替了传统的金属散热器，液体注入服务器，通过冷热交换带走CPU的热量。

　　具体项目情况如下：

　　机房总功率：>1000节点, 641.38kW

　　主要设备组成：服务器设备机柜; TC4600E-LP;液冷分配模块;室外闭式冷却塔并机;风冷行间空调内机;风冷多联空调外机。

　　下面三图分别为该数据中心的内部结构图、液体管路系统图以及机柜内部图。

　　由内部结构图可见，该数据中心分为上下共三层，为3层，地下室放置配冷模块、配电模块等。

图3 机房结构图

　　由液体管路图和机柜内部图可见，每层机柜均由地下室内的配冷模块送入冷流体(蓝色管路)，冷流体送入机柜内的竖直分液器之中，由竖直分液器平均分配给该柜内不同高度处的服务器刀箱，进入刀箱内部的水平分液器，由水平分液器将其平均分配给刀箱内的刀片服务器。整柜刀箱汇集的热流体(红色管路)进入另一侧的竖直分液器，并统一送入室外进行冷却，冷却后的冷流体再送入配冷模块，加压后送入机柜，由此完成制冷循环。

图4 设备与液体管路图分配图

图5 液体管路机柜内部图

　　曙光的液冷刀片服务器TC4600E-LP是风冷和液冷的混合制冷，主板上除CPU外的发热元器件采用风扇进行散热。为此，曙光采用了机柜排级机房基础设施对其进行制冷，共计配置了12台制冷量为20kW的C1000氟冷行间空调。

　　C1000是曙光公司为解决高密度刀片服务器散热问题所推出的，以机柜排为单位、封闭风道的、以氟利昂为冷媒，包含机柜、配电、制冷、监控等四个子系统的整体解决方案，为中心建设提供了高可靠的动力保障和最佳的运行环境。不论是在技术先进性还是节能等方面，都很好地满足了该项目的应用需求，制冷性能发挥非常稳定，节能效果出众，获得了广泛的认可。

　　‘地球系统数值模拟装置’的预研及原型系统建设”项目进行三个月的检测，通过期间的PUE数值推算该项目全年PUE值为1.17左右，而与目前国内新建数据中心的平均PUE1.5的要求相比，节能效率为25.3%。在三个月的运行期间，合计节省电费约505276.8kWh，折合节省标准煤162吨，减少CO2排放379吨。计算可得，运行一年后，共计可节省电费2021107.2kWh,折合标准煤647吨，减少CO2排放1516吨。

　　七、 技术应用现状和推广前景

　　1.技术应用现状

　　2016年，曙光液冷服务器继中科院大气物理研究所“‘地球系统数值模拟装置’的预研及原型系统建设”项目，后再次中标超算项目，助力国家电网电力科学研究院仿真中心超级计算系统高效运行。该项目计算数量超过八百节点，总体计算能力近千万亿次。相比传统风冷解决方案，电科院仿真中心将实现全系统年均PUE 1.35。

　　2.市场推广潜力

　　液冷服务器的主要应用领域为数据中心，数据中心是一整套复杂的设施，它不仅仅包括计算机系统(例如服务器、系统软件等)和其它与之配套的设备(例如通信和存储系统等)，还包含冗余的供配电及制冷设备以及各种安全装置。数据中心是中国推进新一代信息技术产业发展的关键资源，同时，智慧城市、信息消费、云计算、物联网、4G通信、三网融合和基于移动互联网的应用发展迅速给数据中心带来了持续的需求。

　　当前中国数据中心整体每年新增投资规模在1000亿元人民币左右，随着中国信息化社会的快速推进，以及云计算、物联网等产业的崛起，数据中心作为终端海量数据的承载与传输实体，每年的投资增速日益加快，2014年中国数据中心保有量为4.9万个，总面积为1300万平米，预计到达2020年，中国数据中心保有量将超过8万个，总面积将超过3000万平米。随着数据中心的蓬勃发展，服务器市场也发展规模越来越大，根据多方数据整理显示，预计2019年，中国服务器市场规模将超过600亿元。根据当前数据中心服务器规模的发展，以及当前主要服务器厂家对液冷服务器的推广和关注程度，同时重点用户也纷纷要求使用液冷服务器来进行数据中心节能建设与改造。但是当前由于液冷服务器刚刚推向市场，市场占有相对较低，而随着市场的快速发展，预计2019年规模将超过200亿元人民币。

　　八、 新技术新产品证书

　　责任编辑：DJ编辑