摘要：2020年12月中央经济工作会议中将碳达峰、碳中和工作位列其中,重申我国二氧化碳的排放力争2030年前达到峰值,力争2060年前实现碳中和。数据中心的高耗能越来越受到社会的关注,国家相继出台了数据中心能耗的指导意见和限令,因此绿色和碳中和是数据中心建设和运维必然趋势。本文重点介绍数据中心行业近些年在蒸发冷、热管、液冷制冷系统的技术突破、性能、需要关注的问题和发展。

   2）热管+机械制制冷系统
　　
　　在我国有很多的地区采用全热管技术的制冷空调还无法满足全年所有工况可以提供数据中心需要的制冷要求,因为在夏热冬暖的地区,室外温度限制了热管技术的使用,室外换热器换热效率下降或无法对气化的媒介进行降温,不能满足机房送风温度要求时,为此制冷的厂商在热管精密空调机中增加了机械制的装置,机械制冷作为热管制冷的补充,很好的解决了区域气候条件不足的缺陷,见图21。
　　
　　热管+机械制冷系统的全年运行模式分为三种:压缩机制冷模式、部分自然冷却模式、完全自然冷却模式。
　　
　　当室外湿球温度t>T1℃(可调)时，压缩机工作，自然冷源不工作，系统运行模式为冷机制冷模式。
　　
　　当室外湿球温度T1<t≤T2℃(可调)时,压缩机工作,自然冷源工作,系统运行模式为部分自然冷却模式。
　　
　　当室外湿球温度t≤T2℃(可调)时,压缩机不工作,自然冷源工作,系统运行模式为完全自然冷却模式。
　　
　　热管+机械制冷模式产品有区域机柜式和行间空调两种,以适应不同规模数据中心的需要。
　　
　　3）重力热管背板
　　
　　重力热管型背板空调是热管技术在数据中心另一种应用,安装在机柜后门,与机柜紧密结合,通过水冷冷凝器中工质的蒸发、冷凝循环直接冷却机柜排风,机柜外部形成冷环境。热管运行时工质回流依靠重力,无须其它动力。热管背板系统主要由外壳、风机、换热盘管、控制器、水冷冷凝器、热管工质、热管工质管道、水过滤器及群控系统等组件组成,应能实现机组最优性能和保证工艺设备等安全运行。重力热管型背板空调系统示意和气流组织如图22所示。
　　
　　重力热管型背板空调适用于前进风后出风,标准服务器机柜,安装在机柜后门,与机柜紧密结合与机柜形成一体,更接近热源,机柜内部服务器空气流动分布均匀。重力热管型背板空调更有利于机柜吸收、散热制冷效果。目前重力热管型空调主要用于8KW～15KW中高密机柜的制冷。
　　
　　重力热管型背板空调优势有:
　　
　　(1)冷媒管进机房,无水患。
　　
　　(2)不占机柜位,可增加机房出架率。
　　
　　(3)建筑也无需做预留,后期建设灵活。
　　
　　(4)风机备份:风机选用多个轴流EC风机,可通过控制单元实现调速功能,且风量放有1.2倍余量,风机接线口采用插拔结构。万一有某个风机出现故障,其余风机将自动提高转速,保证机柜正常运行所需风量,并报故障。维护人员有充分的时间替换风机。
　　
　　(5)背板内双盘管设计,安全可靠;
　　
　　(6)电源备份:为保证产品的可靠性,可使用双路电源供电,以防止有一路电源断电后,风机无法运行。
　　
　　重力热管型背板空调需要关注一下的问题:
　　
　　该技术目前还只是在某运营商已完成试点并规模推广，一般适用于前进风后出风的标准机柜形式，并且机柜内负载需垂直方向均匀分布，前期规划需要与使用方确认后期业务类型及服务器形式。
　　
　　根据以往试点机房的建设价格,背板的投资约为普通冷冻水房间空调建设模式(地板下送风+冷通道封闭)的1.2倍。
　　
　　制冷管路上、下均走线,或全部上走线,冷量分配模块需高于机柜1m就近安装,空调数量、管路多,工艺要求高。
　　
　　机柜、热管背板、冷量分配模块供应商需紧密合作。
　　
　　2.3热管技术与传统空调方案对比
　　
　　以1栋10000m2机楼为例,对风冷房间级空调、冷冻水房间级空调、热管+机械制冷精密空调、热管背板空调的建设成本、节能效果等进行分析对比,见表1。
　　
　　热管技术是在传统压缩制冷空调基础上的演进而来,热管循环是无动力循环,具有更好的节能性。
　　
　　热管背板除了结合冷冻水系统的应用外,现在行业内的厂家也研发出多联式风冷热管主机,该产品在数据中心使用,可以实现快速部署,因为复合了自然冷却模板和机械制冷模板,节能性更好。
　　
　　总结:热管技术充分利用了热传导原理与相变介质的快速热传递性质，将机房内的热量迅速传递到室外；热管技术因为具有无漏水风险、安装方便、无动力循环、节能效果好等特点，未来会在数据中心空调建设中，扮演更重要的角色。
　　
　　三、液冷技术在数据中心中制冷系统的应用与前景
　　
　　现阶段主流数据中心所用空调类型,无论是风冷还是水冷,无论是房间级还是行级、背板式,都是先冷却空气,再通过冷空气与服务器的发热元器件进行热交换,这种冷却方式被称为空气冷却或“空冷”。由于空气的换热效率差,热流密度低,造成服务器需要自带散热风扇,不仅增加冷却能耗,而且噪声大、设备密度低等问题。当单机架功率密度接近20kW时,风冷系统就已达到制冷极限,为解决服务器散热难题,厂商开始尝试使用液态流体作为热量传输的中间媒介,将发热源的热量通过液体的载体直接传递到远处再进行冷却,即“液冷”。由于液体冷媒比空气的比热大,散热速度远远大于空气,因此制冷效率远远高于风冷散热,可有效就近解决服务器的散热问题,降低冷却系统能耗和噪声。
　　
　　3.1液冷技术工作原理和分类
　　
　　液冷是指使用高比热容的液体作为热量传输的介质代替空气,将IT设备的CPU、芯片组、存储等功能器件在运行时所产生的热量带走。目前液冷按照冷却原理、技术和产品形态主要分为以下三种:
　　
　　1）冷板式液冷技术
　　
　　冷板式液冷技术是液体不接触被冷却器件,将液冷冷板固定在服务器的主要发热器件上,依靠流经冷板的液体将热量带走达到散热目的。该技术将冷媒直接导向热源,同时由于液体比空气的比热大,散热速度远远大于空气,因此制冷效率远高于风冷散热。冷板模块结构示意图和服务器采用冷板实例见图23。
　　
　　冷板液冷解决了服务器里发热量大的器件的散热,其他散热器件还得依靠风冷。所以采用冷板式液冷的服务器也称为气液双通道服务器。
　　
　　冷板技术可有效解决高密度服务器散热问题,降低冷却系统能耗,而且降低对环境制冷要求,同时降低噪声。采用冷板技术的液冷系统主要由冷板模块、内循环冷媒传导系统和外水循环冷却水散热系统三部分组成。板模块服务器发热元器件产生的热量导出到服务器机箱外，然后通过内外循环系统将热量带出数据中心。冷板式液冷系统工作原理如图24所示。
　　
　　2）浸没式液冷技术
　　
　　浸没式液冷技术是一种以液体作为传热介质,将发热元器件完全或部分浸没在液体中,发热元器件与液体直接接触并进行热交换的技术。在数据中心液冷制冷系统中,浸没式液冷技术是将服务器的板卡、CPU、内存等发热元器件完全浸没在冷却液中,直接带走服务器热量。根据冷却液工质的制冷形态分为单相浸没和相变浸没。单相浸没式冷却液不蒸发、不沸腾,靠液体的温升和流动进行热交换;相变浸没式冷却液通过沸腾、蒸发利用汽化潜热带走热量,相变的液态技术具有更高的传热效率。见图25所示。
　　
　　浸没式液冷技术利用液体的流动直接与发热元器件接带走热量,减少了传热过程的热阻,相比冷板式液冷,具有更高的传热效果,是也冷却技术中最节能、最高效新型制冷模式,见图26。
　　
　　3）喷淋式液冷技术
　　
　　喷淋技术是将冷却液直接通过服务器机箱上的喷淋板,喷射到发热设备表面或与其接触的延伸表面,喷淋的液体和被冷却器件直接接触,带走热量,从而达到设备的冷却的目的。吸收的热量被转移到室外,并与大型冷却源的外部环境交换,降温后再送往服务器,循环使用。喷淋式液冷技术原理和工作示意见图27。
　　
　　喷淋式液冷技术需要对服务器的机壳或者对整体机柜做相应的改造。
　　
　　喷淋服务器机箱:与普通服务器机箱相比,主要特点是取消了风扇的进出风口,改为进液口与回液口。服务器机箱有密封处理,防止冷却液泄露;机箱顶板改为喷淋板,用于向发热器件喷洒绝缘冷却液;
　　
　　液冷机柜:液冷机柜内部设有进液管与回液管,进液管向IT设备供应冷却液,回液管回收被加热后的冷却液;
　　
　　喷淋冷却系统主要包括向IT设备喷洒冷却液的布液装置(包括特制的喷淋服务器机箱,特制的液冷机柜),冷量分配单元(CDU),室外散热器;冷量分配单元:内部主要包括泵,过滤器,换热器,其中,泵的作用是驱动冷却液流动,向IT设备内不间断输送冷却液;过滤器作用是滤除冷却液内部的微米级杂质,防止固体杂质在IT设备上沉积;换热器作用是将冷却液的热量与二次循环回路中的冷媒(如水,乙二醇)进行热交换,见图28。
　　
　　室外散热器:布置于室外的散热器将二次循环回路中的冷媒与室外空气进行热交换,将热量散失到外部大气,散热器通常使用空调行业常用的管翅式换热器,工业常用的板翅式换热器,以及冷水塔。管翅式换热器,板翅式换热器,冷水塔能够最大程度利用自然冷源-空气,无需采用能效较低的压缩制冷方式,因此较节能。
　　
　　4）冷却液类型
　　
　　在液冷技术中的制冷媒介常用的冷却液有水、矿物油和氟化液。
　　
　　水,有良好的比热容,是一种优秀的散热媒介,价格低廉无污染。但由于水并非绝缘体,只能应用于非直接接触型液冷技术中。
　　
　　矿物油,是一种价格相对低廉的绝缘冷却液,单相矿物油无味无毒不易挥发,是一种环境友好型介质,但是,由于矿物油粘性较高比较容易残留,特定条件下有燃烧的风险。
　　
　　氟化液,由于具有绝缘且不燃的惰性特点,不会对设备造成任何影响,是目前应用最广泛的浸没式冷却液,但价格较为昂贵。
　　
　　3.2液冷的优势与挑战
　　
　　1）液冷技术的优势
　　
　　(1)热量带走更多:同体积液体带走热量是同体积空气3000倍,温度传递更快:液体导热能力是空气25倍;可大幅降低CPU和系统的温度,提高CPU元器件的使用寿命,并提升运算能力;
　　
　　(2)冷板式液冷技术可将服务器风扇功耗可以降低70%～80%,空调系统功耗降低70%;
　　
　　(3)噪音品质更好:同等散热水平时,液冷系统噪音比风冷噪音降低可降低机房噪音20～30dB;
　　
　　(4)耗电节能更省:液冷系统约比风冷系统节电30%以上。
　　
　　2）液冷技术应用的场景
　　
　　冷板式液冷可以将原有风冷服务器升级改装成冷板式服务器，使数据中心PUE有较大大幅度降低。目前冷板式液冷技术在服务器中已经有标准化产品，曙光、微软和浪潮等都推出基于冷板技术的服务器，进入商用。有效解决了服务器高密度散热问题，冷板式液冷更适合用于单机柜15kW～30kW的中高密度数据中心。
　　
　　浸没式液冷技术目前还处于按客户需求定制化阶段,没有标准化产品,服务器的制造商按照需求和提供液冷技术产品的厂商合作,按照浸没式液冷的要求的定制专用的机柜、机柜内集成电路的插槽和板卡以及所带板卡的数量。目前只是在个别的BAT的数据中心和超算的数据中心有应用,浸没式液冷更适用于单机柜功率60kW以上的高密度数据中心。
　　
　　喷淋式液冷技术目前主要用于现有机柜的节能改造，对原有服务器的机柜和服务器机壳进行改造，将原有的通过风扇降温的服务器改造成喷淋式液冷，降低服务器的耗能和制冷系统的耗能，应该说有对老旧的数据中心降能节能很广阔的应用价值。
　　
　　3.3液冷的发展挑战与前进之路
　　
　　目前液冷技术有非常骄人的能效和优势,在一些服务器的制造商和数据中心得到应用,但在液冷仍然面临着许多的挑战,这些挑战有:
　　
　　1）涉及到上游、中游和下游的协同
　　
　　在传统的风冷和水冷系统是对机房环境温度的控制,服务器与制冷系统是完全割裂的。而无论是间接或直接的液态冷却方式都必须涉及上游(产品制造)、中游(设计、材料和施工)和下游(运维)的共同参与和配合。需要与服务器制造厂商联系在一起,按照液冷的技术要求定制化设计服务器的内部结构、外形和防护,这会增加服务器的制造成本,还需要兼顾可用性、可靠性和后续维护成本,需要上游(制造商)、中游和下游的配合。
　　
　　2）全密封和泄露
　　
　　无论是间接或直接液态冷却,冷板和机柜的全密封至关重要,还需要关注冷媒进/出冷板或机柜连接的可靠性,目前主要还是采用软管的软连接,因此对软连接的材质和连接头提出更高的要求,不仅要求软管的材质的可靠性,同时还需要维护时满足软连接热拔插时不会造成液冷剂的泄露。
　　
　　2017年欧洲云计算巨头OVH位于法国的数据中心由于水冷系统中的软管出现裂痕而引起冷却液流入系统,其中内部有一台96个固态硬盘和15个磁盘阵列遭受损坏,进而导致该数据中心服务的超过5万个网站在24h内无法正常访问。
　　
　　3）液进风退
　　
　　液冷技术是目前散热效果最佳的载体,具有着优良的节能效果,是否液进风退将带动整个数据中心节能技术和产品成为下一代制冷系统。从目前的情况看,除非有强制的使用冷板液冷服务器的限令或过渡期的要求,几十年一贯制的风冷服务器有其独立、快速部署以及与制冷设备的松耦合还会持续一个相当长的的时期。但是对于超过30kW单机柜的数据中心液冷一定成为首选。
　　
　　4)展望
　　
　　尽管液冷已经从幕后走到前台,但是还需要有一个检验和经验的积累,有待解决在标准化、降低建造成本上存在的问题。但是毫无疑问,液态冷却技术是对传统的制冷技术一项巨大的革命,是对传统数据中心部署的一场变革,而且这个变革已经到来,液冷技术代表了绿色节能数据中心的发展方向,同时在国家对数据中心能效的指标严控和在绿色数据中心和碳排放达标的大环境下,液冷技术会得到大力的发展,将促进数据中心节能迈向一个更高的水平。
　　
　　作者简介
　　
　　杨晓平（1953-),男,江苏扬州人,大学本科学历,原中国银行(上海)数据中心安全处处长,江苏银行信息科技部资深技术经理。中治研信息技术研究院高级研究员。
　　
　　毕业于解放军国防科技大学计算机专业。从事IT领域工作50年,在科研、石油数据处理、银行信息科技工作的经历,参加我国银河超级计算机研发,熟悉IT架构、规划、系统集成、信息安全、数据中心建设和运维,灾备、检测与认证。参与参加《数据中心设计规范》、《数据中心等级评定》、《数据中心运行维护管理标准》、等多个数据中心标国家和团体准编审。CDCC、CCDC、NIIS、GDCT、TGGC、DBRTA、ITRAA等协会和团体专家技术委员会的委员。
　　
　　编辑：Harris