李震：非常高兴有机会能跟大家一起来介绍，在清华关于数据中心冷却方向研究团队研究的一些结果。这个地方其实我是经常来的，但是我从来没有发现这个酒店，这个酒店建的非常隐秘，实际上我们的河北清华研究院离这个地方不远。我们有几个大的厂房，做我们这个行当的通常需要一些很大的地方，比如说室外。我在清华的办公室是个办公楼，办公还行，做点实验不行，所以我们就把实验室搬到廊坊来了。

　　首先是研究背景，刚才几位都介绍了，当时我刚入行的时候，刚博士毕业的时候，说机柜单机价格功率只有一千瓦，机房局部都热的不得了，现在平平常常的可能都10千瓦，增长的非常快，也有摩尔定律的意思，散热会慢慢成为瓶颈。上午领导也讲了PUE的值，是很高的值，好像是2.0。在座的诸位肯定觉得这是一个不太对的数，因为百度也说是1.2几了，为什么他们会有这样的差别呢?这是有历史差别的。他说全国有40万个数据中心，但是很多都是小型的。我测过北京市的，都很小，跟李总、百度他们那个级别都没法比，大概二十几个柜子，十几个柜子也算一个。这是我们真实测的，PUE的比例大概就是这样。

　　有些宣传，比如说谷歌数据中心宣传一点几，我觉得大家也不用信这个数。PUE这个数它是个结果导向的，它体现的是用电比例，但是并没有告诉你为什么会这样。你可以给他判分，但是没有指导你整个过程。

　　我主要是做暖通的，一个数据中心的散热能耗比例很大，为什么这么大呢?通过多年的体会总结了几条，这是三四年前才把这几条想全。一个是运行模式不合理，现在大部分都已经解决了，都有自然冷却的手段。很多情况下是全年需要制冷的，尤其是风冷，没有自然冷却手段的。还有环境不均匀的，传统冷却房间那种形式的话，无论是一千瓦的柜子还是十千瓦的柜子都用一个系统，那肯定会不均匀，有局部的热点，那这样就加大风量，降低温度。还有处理流程不合理，处理流程不合理主要是湿度的问题，通常传统空调会除湿，空调也配了加湿设备。现在这种情况好了，大概三、四年以前的时候，都很普遍的存在空调冬天还除湿呢，尤其在北京。自己加，自己除，一直都是这样。

　　还有刚才大家也提到了输配的能耗，通常压缩机制冷系统，制冷系数CUP是3：1的概念。为什么我们一看PUE冷好里面接近一半会消耗在制冷系统里面，其他都是输配。输配系统占的损失特别大，比如说风机、水泵，通常来说这部分不被重视。

　　经过这么多年的发展，大家对这个事已经逐渐考虑清楚了，我就讲讲我们做的一点点工作。首先就分析了数据中心里各个影响因素和它的能效是一些什么关系，IT设备、制冷设备、配电、照明跟负载率、安全等级、规模、气侯条件以及制冷形式都有关，也就是说这些因素影响着PUE这些指标。PUE就一个数，告诉你一个PUE值之后你怎么知道这是哪个因素不好引起的机房PUE高呢?所以你要分解考虑才行，我们就把这些因素都分解了。

　　这里有百度互联网集团建在哈尔滨了，另外李总这儿有一个小机房在广东，两个PUE都是1.5，你说哪个好哪个不好。或者是哈尔滨的高一点，广东的低一点，广东的就一定好吗?所以这个不好直接判断，那就要把PUE里面能效影响因素一个个拆开。规模、安全等级、气侯这种形式，进行精细化的考量，分系统的分析给PUE带来的变化。最近大家可能也知道有一个标准，他们制定了很长时间了，说不用PUE，其实他们也是这样的思路，就是把各种影响因素拆分开来考虑里面对能耗的影响。这是做的步骤，就是把各种因素差值都考虑了以后，对PUE综合技术指标进行纠正。

　　首先看气侯，干球温度和湿球温度，风冷系统是干球温度，水冷系统是湿球温度。我们还定义了几个制冷系统不同工况点下的值，他可以知道全年某个地区综合ER。还有冷源形式的选择，究竟是风冷好还是水冷好。大家现在普遍感觉水冷系统比风冷系统好，尤其是大型系统里，因为水冷性是湿球温度的水直接冷却设备。我们把制冷指标用CL，风冷、水冷冷源我们都向厂家要了资料，要了一些测的速度，做了一些模型，做了好多。清华十年前有一个数据库，把一小时一个的数据弄出来了，有这个软件来模拟风冷系统、水冷系统带来的效率怎么样。并不是说水冷系统一定比风冷系统有优势，这是水冷系统，后来水冷系统这边会高一些，风冷系统在这些地域会好一些。

　　我们分了几个区，就刚才那张地图，在严寒地区是这样的，水冷系统比风冷系统要好一点。寒冷地区，温和地区，到了夏热冬冷地区，就不一定了，在夏热冬暖地区，水冷系统就比风冷系统好得多。其实这条线是根据查总给出的模型算出来的，但是这跟机器效率是有关的，不过大体上有一个趋势，在这一带的时候风冷系统有可能比水冷系统效率还要高，这是比较干的，用水冷系统比风冷系统效率要高。所以我们在选择风冷冷源和水冷冷源的时候，不管规模多大，应该说有一个权衡。

　　还有自然冷却，我们最开使用了热管形式的一种自然冷却的机器，这种机器在业内有好多种方案。比如说把风冷的冷机做成带自然冷却的，原来不是压缩机嘛，不能自然冷却悠很多种方案，一种是加泵的形式，这种中科院提的一种方案，叫三介质换热器，通常一个换热器里是两种介质。我们也提出了一种方案，换热器是两个介质，但是可以用两个板换，实现风冷的机组能够进行自然切换自然冷却和主动制冷，具体的循环我就不讲了。这是我们最开始的样机，有三个工况，第一个工况完全是自然冷却的，第二个工况是这两种工况在一起，叫平滑切换。也就是你不需要动任何机械部件，只要温度到了可以平滑切换。数据中心上午一直有个问题，就是我们在节能和安全要做一个比较，在安全面前节能通常是被打败的，我现在都不好意思说我是给你做节能的，一说做节能就觉得非常弱，需要你的时候你就节点，不需要你的时候，我还是保证我的功能，这永远是第一位的，没问题。

　　我们当时设计这套系统的想法，就是不要用任何的阀门和泵、压缩机方面的切换，没有机械部件的切换，所以它的可靠性是可以的。所以我们又可靠了，又节能了，你挑不出我们什么毛病来，这是处于很弱势的阶段，这样来解决问题。我们做了很多工况的测定，在不同城市我们也对这种机器做了测试，这是风冷冷源。

　　对于末端形式我们也做了一些思考和尝试，我只是把这个列在这儿了。刚开始的时候是最普通的，叫房间级和列间级的冷却，都是冷却一个大环境，还有人做冷热通道的封闭。肯定是越近越好，还有机柜级的，这是我们做工作做的最多的。我们放在背板上，希望能把液量均匀，你要是几百对几百通常是有问题的，大家觉得学校里做的工作，怎么做这么简单的一个东西啊?其实我是很费劲才能把它调出来，里面用一些手段，把一些液位能调好。我们也把吸热端放在机柜的上下左右前后都尝试过，究竟哪种好，我们也没太想明白，这跟需求方有关系。

　　最好的方式就是刚才移动李总介绍芯片级的冷却方式，芯片级冷却方式我们当时为什么只选择机柜级的?因为芯片级的有很多困难，一个是成本会高，另外服务器要挪。人家说服务器挪走了，我换新的了有一些非技术上的制约，很难弄，但是李总做了非常好的尝试，做了特别成功的一个案例，是非常有推广价值的。

　　当时我们为什么做背板的方案呢?背板级的是做一种权衡，现在的运行模式、客户的要求这种协调下，我们觉得背板形式又避免了冷却整个房间，输给变小了，需要的冷源温度提高了，又能够不太影响现在的运维还有各种界面分工和架构，我们就做了大量背板方案的冷却。这个方案不管是自然冷源还是主动制冷，跟地域有关，大概是15度到20度的冷水。你们机房里温度里是二十多度?

　　李孝众：我们是27度，现在可以提升到35度、40度。

　　李震：我们这个也可以到22度冷水了，正负1的情况下，我们现在用的是14度、15度的水，22度冷水进来之后可以达到服务器温度保持在22度正负一的情况。这下面多了一个管子，机柜我们最多做到了15千瓦，这是北方信息港，李总的是南方基地，这在昌平那个地方，它的空间利用率也高了，没有地板了，看起来机房里比较整洁、规矩。这直接把机柜坐在水泥处理过的地面上，看起来空间感也比较好，现在来说这是比较好的一种方式。

　　除了测性能以外我还是关心安全性，别给人家出了什么问题，我们测了各种故障的情况下，比如说我们故意弄坏几列，看看整个的情况。因为屋子里是个冷环境，即使弄坏几列的情况下，相邻近的温度也就是超过两三度，不会一下很恶劣就完了的那种情况，屋里是个冷环境，临近背板可以给附近的背板有一些帮助，让它温度不升的太高。

　　我们测了一些北京的结果，温度没问题，但是PUE有问题，是因为它的负载率没有上来，就是冷源水泵的功率还是那么大。你本来是供十个机房，你现在只开两个机房，所以PUE还没有到很理想的状况。

　　接下来我总结一下，制冷系统节能空间其实还是蛮大的，还有数据中心PUE指标要分解，考虑各种因素之后，综合考虑，才能量化差异，这样才知道这里面究竟是供电系统需要改进还是制冷系统需要改进，这要建立一个指标体系，这个会是工信部举办的，是政府背景的会，我觉得这个对他们会非常重要。还有风冷、水冷两种冷源形式适用地域不同，不一定是风冷比水冷效率就更高。还有采用分布式末端，提升所需要冷源的温度，能够显著的提高能下，这是显然的。

　　我就讲到这儿，谢谢大家!

　　责任编辑：DJ编辑