据估计，目前数据中心总耗费的电力占全球电力消费总量的1.5%至2%，相当于400TWh (万亿瓦(特)时， 1TWh=1000GWh=1e6 MWh=1e9 kWh(1e9 表示10的9次方);，或接近于一年法国使用的电力总量(Corcoran&Andrae，2013)(2016年的Shehabi，o.a)。

　　想象一下，如果有办法重新部署数据中心的服务器所用电力，是不是耗电量会有所改善。 本篇文章探讨了如何通过热回收大规模数据中心冷却提高数据中心的成本效率以及可持续性提高到一个层级。

　　数据中心冷却系统标准

　　随着CPU性能的提高、电源分配、提高设备的耐受性、新的制冷技术，成本意识和环境问题有关，自2004年第一次介绍“数据处理环境热指南”以来，数据中心冷却的指导方针和方法已经有了显著的发展。

　　ASHRAE指南，现在已经到了第四版，并在2008年与相应的网络设备建设系统需求同步，是数据中心行业真正意义上热管理的的标准。该指南的发展已经尝试在不影响可靠性的情况下，支持对IT设备进行更节能的冷却。

图1

　　斯德哥尔摩的环境条件

　　在斯德哥尔摩，关于制冷解决方案的选择，很大程度上依赖于数据中心所在的环境条件。

　　瑞典的天气在全国和季节之间变化很大。在首都斯德哥尔摩斯德哥尔摩北部的干球温度已经低于15°C自2001年1月1日以来,82.26%的小时和27°C以下,(ASHRAE这样推荐最大99.63%,低于32°C(ASHRAE这样A1最大),那个时期的99.998%。露点温度低于15摄氏度(ASHRAE推荐的最大值)，为96.98%，低于17摄氏度(ASHRAE A1最大)，为99.19%(斯德哥尔摩2016)。

　　斯德哥尔摩冷却方案

　　斯德哥尔摩为数据中心提供了大量潜在的冷却解决方案。在这一节中，我们概述了最适合城市天气状况的解决方案。

　　气流系统

　　考虑到瑞典的环境条件，直接和间接蒸发冷却系统是两个最具吸引力的替代方案。然而，到目前为止，这种建筑实践的经验在瑞典。

　　Facebook的最佳实例是Facebook在瑞典北部的Luleå的建设的数据中心。 在斯德哥尔摩没有使用直接蒸发冷却系统方案的，究其原因可能在于城市环境中对于过滤器维护的高成本，不过该系统的主要优点是PUE低。

　　然而，这个解决方案中最重要的问题是，大量的宝贵能量被浪费在数据服务器上的多余热量被直接丢弃到环境空气中。 然而，直接蒸发冷却系统可以被设计为通过引入水到空气交换器来来重新利用热量。 虽然在概念上可行，除了Yandex在芬兰Mäntsälä的工厂外，北欧地区的设备依然很少。 尽管斯德哥尔摩地区有良好的环境条件，仍然需要一个全面的后备冷却系统来管理少数几个小时的高露点温度。

　　间接蒸发冷却系统是指把直接蒸发冷却过程中降温后的空气和水通过非接触式换热器冷却待处理的空气，那么就可以得到温度降低而含湿量不变的送风空气，(此过程为等湿冷却过程)。该方法的效率将取决于室外空气的湿球温度，并且需要机械的向上冷却来控制在相对湿度过高的情况下，在蒸发过程中工作的相对湿度过高。若把直接蒸发冷却中用的空气称二次空气，待处理的空气称一次空气，则可得到用于间接蒸发冷却的装置。

　　这个系统，会有较低的PUE，虽然通常比一个直接蒸发冷却系统PUE要高一些。在直接蒸发冷却系统中，多余的热量被丢弃在环境中。然而，与直接蒸发冷却系统不同的是，很难构想出一种高效的设计，在这种设计中，热量回收可以与间接蒸发冷却系统相结合。

　　冷冻水系统

　　最常用的系统依赖冷冻水冷却系统，通常采用某种机械冷却，通常与一年中大部分时间的自然空气冷却系统模式相结合。系统基础设施与蒸发冷却系统不同，因为能量在数据中心的液体中携带，并且通过数据室中的液体 - 空气热交换进行冷却。

　　冷冻水系统通常比基于空气的系统有更高的PUE。另一方面，冷水系统更倾向于提供更大的设计灵活性，而与间接蒸发冷却系统相比，这套方案需要更少的空间。

　　冷却水系统的一个特殊版本是区域冷却。在一个地区的冷却解决方案中，使用相同的数据中心基础设施，但是冷却是作为地区冷却供应商提供的服务提供的。冷却服务的供应商可能采用不同的方法来生产冷却水，包括海水冷却、冷却机和热泵。虽然在斯德哥尔摩并不存在，但其他地区的地区冷却供应商正在考虑以吸收为基础的冷却。

　　冷冻水系统的一个关键优点是有机会进行有效的热回收。在传统的冷冻水系统中，在冷却塔中会除去多余的热量。

　　然而，在一个冷却的水系统中，通过热泵来实现数据中心的冷却，可以提高过热的温度，这样，热泵就可以通过与地区供热网络的连接，为住宅和办公需要供暖。在地区冷却解决方案中，数据中心的冷却是作为一种服务提供的，热恢复是系统的固有特性，在这个系统中，返回管道将数据中心的余热从数据中心输送到一个配有热泵的生产设备，并连接到地区供热网络。

　　随着高性能计算的出现，液体冷却开始出现。一种液体冷却的解决方案不需要液体到空气的热交换，而且对于热回收的效率更高，因为它能更好的吸收热量，更高的温度，更不需要机械的帮助来达到为住宅供暖而工作的温度。

　　斯德哥尔摩数据中心和热回收

　　事实上，斯德哥尔摩的非常适合热回收。在其他地方进行的许多热回收项目没有达到成功的热回收的先决条件。第一个挑战是需要管理的大量的热量。一个10兆瓦的数据中心负荷符合大约2万套现代住宅公寓的供暖需求(55 kwh/m2/年)。因此，在本地或与数据中心相同的建筑物中完全重用热的选项是不可行的。

　　另一个需要考虑的关键因素是数据中心依赖于单一建筑物或有限居住区域来吸收数据中心热量的风险。

　　只有数据中心连接到庞大的建筑物网络，才能在足够大的规模和合理的风险下进行热回收。 采用斯德哥尔摩的12个TWh /年区域供热系统，需要足够的热量来适应各种数据中心(相当于150兆瓦负荷的数据中心)的热回收。

　　Fortum vrme有超过25年的经验，从数据中心恢复热量，并将其传输到地区供热网络，从1989年开始，IBM开始提供其Kista数据中心的热量。

　　除了许多较小的数据中心使用的普通区域冷却之外，FortumVärme还开发了具有热回收的特定区域冷却服务，例如，由Interxion在Kista的数据中心使用。 在Interxion，热交换器和循环泵是冷却数据中心内部冷水循环所需要的。 在这个过程中，数据中心的余热被回收并返回到FortumVärme，在那里进入大型热泵，然后提供区域供热。

　　FortumVärme自此开发出一种商业模式，允许任何热源接入城市供热系统，同时接收供热、开放区域供热。使用专门用于热回收的热泵，热泵的冷凝器侧与区域供热系统进行热交换，在那里传递热量，而不是将其散发到外部空气中，这使得能量被使用两次 - 为服务器供电以及为斯德哥尔摩提供供暖。

图2 热回收原理图

　　目前，斯德哥尔摩有三十多个数据中心从事热回收。

　　冷却系统中的热回收服务

　　正如前面所述，在斯德哥尔摩，可以用两种方式来进行热恢复。任何数据中心都可以用热泵进行制冷，并在适当的温度下将多余的热量排除在区域供热网络中。另外，Fortum vrme提供了冷却作为一种服务——(CaaS)，数据中心的多余热量被输送到一个返回管道的生产工厂。在生产车间，过热的热量进入了大型集中热泵的蒸发器一侧，为地区供热网络供热。

　　在斯德哥尔摩数据中心园区，FortumVärme欢迎两种解决方案。 为了实现和分享规模经济，FortumVärme已经开发并提出了一种增强的针对数据中心的CaaS产品，预计将达到超过5兆瓦的计算机负载。 通过使用较大的机器和串联的热泵，可以增加COP(制冷量)，并且通常采用并联配置，与局部热回收解决方案相比，耗电量降低。

　　事实上，在每个数据中心园区(位于斯德哥尔摩的不同地点)都会有一个专用的冷却装置，在那里有大型的离心装置(而不是滚动或螺旋)，冷却机为数据中心的冷却提供CaaS，为整个园区提供热量回收。

　　从数据中心的角度来看，所提供的交付服务是将冷水通过两套系统分别连接到一套标准的冷冻水系统中，允许这种冷却系统提供的全方位的设计灵活性。 数据中心冷冻水分配系统通过热交换器与CaaS系统接口，在交付侧提供〜20°C的水，允许〜22°C的水进入CRAH单元。 热水返回到CaaS工厂，在那里它进入能产生68°C热水的热泵中。

　　根据供暖需要，向地区供热系统供水。在斯德哥尔摩的数据公园Kista，制冷服务的价格(sek/mwh)随着负荷的下降而下降，这反映了随着体积的增加，热量回收的好处也增加了。在该产品中，冷却水冷却将免费提供，以换取数据中心的余热，其冷却负荷仅为10兆瓦。

图3 斯德哥尔摩的数据公园Kista价格模型

　　与使用数据中心自己的电气系统相比，通过公共连接的电源是减少OPEX(运营成本)的一种方式，热回收系统可以被认为是减少和最终消除OPEX冷却系统的一种方法。有了这一功能，Fortum vrme建议每年运行CaaS的时间为8030小时，有99.7%的可用性，允许进行修订和维护。

　　这一服务与电力公司的功能类似，它设想客户将为CaaS补充冗余，并在没有提供CaaS的情况下为数据中心提供冷却。

　　考虑到未来使用量低，数据中心运营商可以选择备用冷却系统，而降低对OPEX的关注度。

　　由于备份系统每年的使用时间少于730个小时，主系统在设计上也不会过于复杂，运维的工作量也随之降低，数据中心的水系统基础设施由两个系统共享。

图4 数据中心使用热回收与备份制冷系统

　　如果需要一个完全冗余的CaaS解决方案，可以提供一个具有两个独立提要的结构，但是影响定价模型。效率和环境PUE是度量数据中心效率的常用度量标准。它变得越来越流行，主要是因为它的简单性。但是，PUE也受到了批评，因为它没有提供数据中心的效率和环境影响的完整视图。

　　Fortum vrme相信未来的绿色数据中心将会提供可持续的电力以减少对环境的影响。几家主要的公司已经对这种影响做出了承诺，并且正在推进对额外的可再生电力的投资，主要是风力发电(Cook，2017年)。2016年12月，谷歌宣布计划在2017年将其整个公司的可再生电力运营。

　　在这一转型过程中，Fortum vrme与主要数据中心的参与者做出了同样的承诺，在斯德哥尔摩的数据公园中增加了可再生能源的使用能力。

　　斯德哥尔摩的数据中心有10兆瓦的数据中心，大约有2万套现代化的住宅公寓可以被加热，用于焚烧的燃料资源可以被保存下来，减少二氧化碳的排放。部署热回收，绿色数据中心可以变成净气候。在斯德哥尔摩，10兆瓦的数据中心负荷可以减少近8000吨的二氧化碳排放量。

图5-ICT公司已经完成了100%的可再生能源承诺(Cook，2017)

图6 10MW数据中心可再生电源与热回收产生的CO2

　　无论你如何评价斯德哥尔摩数据公园的热回收对气候的影响，它对环境的影响总是比目前单纯的为数据中心提供降温的方案要好。

　　责任编辑：DJ编辑