摘要：液体冷却支持者警告说，机架功率密度只有在需要液体冷却之前才能达到如此高的水平，但他们的预测总是被预先阻止。绿色网格表明，空气冷却只能在每个机架上工作约25kW，但人工智能应用程序可能会超过这一水平。

　　数据中心运营商一直在避免液体冷却。将其作为未来的潜在选择，但绝不是主流的操作方法。

　　液体冷却支持者警告说，机架功率密度只有在需要液体冷却之前才能达到如此高的水平，但他们的预测总是被预先阻止。绿色网格表明，空气冷却只能在每个机架上工作约25kW，但人工智能应用程序可能会超过这一水平。

　　过去，当机架功率密度接近空气冷却无法实现的水平时，硅制造商会提高芯片的效率，或者冷却系统会变得更好。

　　液冷——一种奇特的选择?

　　液体冷却被认为是最后的手段，对于能耗非常高的系统来说，这是一种奇特的选择。它需要对硬件进行调整，主流供应商也没有生产设计为液体冷却的服务器。

　　但是，世界上所有速度最快的超级计算机都是用液体冷却的，以支持高功率密度，许多比特币采矿设备都有直接到芯片冷却或浸入式冷却，因此它们的芯片可以以高时钟速率运行。

　　大多数数据中心运营商对于这种事情都过于保守，所以他们已经放弃了。

　　今年，情况可能会发生变化。OCP峰会上的主要公告——标准化数据中心设备的聚会——以液体冷却为中心。在这些公告中，现在很明显，硬件制造商正在生产专为液体冷却设计的服务器。

　　原因很清楚：硬件功率密度现在达到了临界点：“更高功率的芯片组现在非常普遍，我们看到500W或600W的GPU，CPU达到800W到1000W，”浸入式冷却专家LiquidStack的首席执行官乔·卡佩斯说。“从根本上说，在每片芯片上进行270W以上的空气冷却变得极其困难。”

　　除了Wiwynn的服务器，对于第三段，LiquidStack与3M合作使用Novec 7000，一种非氟碳介电流体，在34°C(93°F)下沸腾，并在公司的数据罐系统中重新冷凝，有效地去除过程中的热量。

　　特制的服务器是一个很大的进步，因为到目前为止，所有的主板和服务器都被设计成空气冷却，有广阔的开放空间和风扇。液体冷却这些服务器是一个“仅仅移除风扇和散热器，并欺骗BIOS的过程——说‘你不再风冷了’。”

　　Capes说，这带来了好处，但服务器比需要的大：“你有一台4U风冷服务器，应该是1U或半U大小。”

　　LiquidStack展示了一个4U数据箱，它可以容纳四个机架单元的设备，每个机架单元可以吸收3kW的热量，相当于每个机架126kW的密度。该公司还生产一个48U的数据列，相当于一个完整的机架。

　　标准

　　水箱中的服务器由WiWynn根据OCP的开放式加速器接口(OAI)规范制造，使用液体冷却的标准化定义。这对所有类型的液体冷却都有几个好处。

　　首先，这意味着其他供应商可以加入，并且知道他们的服务器将安装在LiquidStack或其他供应商的储罐中，用户应该能够长期混合和匹配设备。

　　“电力输送方案是另一个重要的标准化领域，”Capes说，“无论是通过交流母线，还是直流母线，在48V、24V或12V下。”

　　另一方面，标准的简单存在应该有助于说服保守的数据中心运营商采用它是安全的——如果只是因为系统使用了所有可能使用的组件进行了检查，所以客户知道他们应该能够在很长一段时间内得到更换和重新填充。

　　以冷却液为例：“目前市场正在采用3M Novex 649，一种具有低GWP(全球变暖潜能)的电介质”，Capes说。“这是在取代R410A和R407C等制冷剂，它们具有很高的全球变暖潜力，也很危险。

　　“当你开始考虑标准时，尤其是在硬件设计方面，非常重要的一点是，你没有使用可能与这些不同的介电流体不兼容的材料，无论它们是Novec或氟碳化合物，或矿物油或合成油。这就是OCP目前真正做出巨大贡献的地方。

　　像OCP这样的组织将对所有问题进行审查，包括连接器的安全性和兼容性，以及整体物理规格。

　　Capes说：“我最近一直在与一些托管提供商讨论地板负载权重问题。”。“部署数据箱而不是传统的600毫米×1200毫米机架是一种不同的设计方法。”他说，一份规范告诉那些colo供应商在哪里可以安全地放置储罐：“通过标准化和传播这些信息，它有助于更快地让市场使用不同的液体冷却方法。”

　　在LiquidStack的具体案例中，OCP标准去掉了大量多余的材料，减少了服务器的实际占地面积，Capes说：“套件周围没有金属底盘。它基本上只是一块主板。通过消除所有这些钢、铝和其他材料来减少空间和碳足迹是一个重大好处。”

　　推动科技发展

　　单相液体冷却供应商强调其解决方案的简单性。浸入式罐可能需要一些螺旋桨来移动液体，但主要使用对流。气泡不会引起振动，所以GRC和Asperitas等供应商表示，设备的使用寿命会更长。

　　GRC首席执行官彼得·普林(Peter Poulin)在接受DCD采访时说：“人们谈论的是一次浸入式冷却，而没有区分单相和两相。”他认为，单相是现在已经准备好的浸入式冷却技术。

　　但两相流允许更高的密度，这可能会比现有的单元走得更远。

　　尽管硬件制造商已经开始量体裁衣他们的服务器使用液体冷却，但他们只是采取了第一步，移除多余的行李，并把东西稍微放近一点。除此之外，还可以制造出在液体环境之外无法工作的设备。

　　“硬件设计没有赶上两相浸入式冷却，”Capes说。“这台OAI服务器非常令人兴奋，每RU功率为3kW。但我们已经展示了在这个水箱中冷却高达5.25千瓦的能力。”

　　不可估量

　　正常运行时间研究(Uptime research)分析师杰奎琳·戴维斯(Jacqueline Davis)表示，该行业的效率测量并没有为液态冷却的到来做好充分准备。

　　数据中心的效率通过电力使用效率(PUE)来衡量，PUE是IT电力与设施电力的比率。但是液体冷却破坏了测量的方式，因为它简化了硬件。

　　Davis说：“直接液体冷却实现的部分PUE为1.02到1.03，比最高效的空气冷却系统高出低个位数的百分比。”。“但PUE并没有捕获DLC的大部分能源收益。”

　　传统服务器包括风扇，风扇由机架供电，因此它们的电源包含在PUE的“IT电源”部分。它们被视为数据中心支持的有效载荷的一部分。

　　当液体冷却去除这些风扇时，这会降低能量，提高效率，但会损害PUE。

　　戴维斯指出：“因为服务器风扇是由服务器电源供电的，所以它们的消耗量就等于IT电源。”。“供应商对风扇功耗进行了广泛的建模，这是一个不小的数字。估计值通常在it总功耗的5%到10%之间。”

　　不过还有另一个因素。硅芯片会因泄漏电流而发热并浪费能量，即使在闲置时也是如此。这是数据中心服务器无所事事时使用几乎相同功率的一个原因，这是一个令人震惊的浪费水平，由于PUE计算忽略了这一点，因此没有解决这一问题。

　　液体冷却可以提供一个更可控的环境，泄漏电流更低，这是很好的。有了真正可靠的冷却箱，电子设备的设计可能会有所不同，以充分利用这一点，从而使芯片恢复其功率效率的提高。

　　戴维斯说，这是一件好事，但它提出了如何衡量这些改进的问题：“如果广泛采用数据链路连接器的承诺成为现实，以目前的形式出现的PUE可能会走向其用途的尽头。”

　　减水

　　Capes说：“人们采用两相浸入式冷却的主要原因是PUE较低。它的散热能力大约是冷板或单相冷却的两倍。”。但更吸引人的可能是液体冷却不使用水。

　　使用传统冷却系统的数据中心通常会在条件需要时开启一些蒸发冷却，例如，如果外部空气温度过高。这意味着让数据中心的冷冻水通过一个通过蒸发冷却的湿热交换器。

　　Capes说：“两相冷却可以在不使用水的情况下散热。”。这可能是LiquidStack最引人注目的客户微软的一个因素。

　　在微软的昆西数据中心安装了一个液堆冷却系统，以及其合作伙伴威恩(Wiwynn)早期制造的一个液堆冷却系统。“我们是第一家在生产环境中运行两相浸入式冷却的云提供商，”微软数据中心高级开发团队的首席硬件工程师Husam Alissa在谈到安装时说。

　　微软对其环境足迹采取了比一些公司更广泛的方法，承诺在2024年前将其用水量减少95%，并在2030年前实现“水积极”，生产出比消耗更多的清洁水。

　　实现这一点的一种方法是让数据中心运行得更热，使用更少的水进行蒸发冷却，但将工作负载切换到不涉及水的液体冷却也会有所帮助。卡佩斯说：“实现这一目标的唯一途径是使用工作液温度高的技术。”。

　　行业利益

　　对高性能液体冷却需求的第一个迹象是热芯片的蓬勃发展：“半导体活动实际上是在大约八到九个月前开始的。之后，人们对主要硬件原始设备制造商的兴趣和参与程度迅速提高。”

　　比特币开采仍在吸收大量比特币，最近为平息中国的比特币狂热而采取的措施已将一些加密设施推到了德克萨斯州等地，这些地方温度过高，无法对采矿平台进行空气冷却。

　　但有明确的迹象表明，HPC和加密采矿的预期市场之外的客户正在认真对待这一点。

　　“一件令人惊讶的事情是，共管的数量有所增加，”卡佩斯说。“我们原以为colocation将是浸入式冷却的一个落后市场，因为传统的COLO并没有真正推动硬件规格。但我们现在已经看到了许多COLO打算在HPC应用中使用浸入式冷却技术的项目。”

　　他补充道：“我们很惊讶地获悉，一些公司正在自建数据中心和托管站点中部署两相浸入式冷却——这告诉我，Hyperscaler正在寻求进入市场，可能比我们预期的还要快。”

　　边缘案例

　　另一个巨大的潜在繁荣是在边缘，微型设施预计将服务于接近应用程序的数据。

　　液体冷却在这里得分，因为它允许不需要空调空间的紧凑系统。

　　Capes说：“到2025年，大量数据将在边缘创建。随着微型数据中心和边缘数据中心的激增，压缩变得非常重要。”。单相冷却在这里应该很好，但他显然更喜欢两相冷却。

　　他说：“在单相系统中，你需要一个相对笨重的水箱，因为你要泵送周围的电介质流体，而在两相浸入系统中，你实际上可以将服务器板彼此放置在两个半毫米以内。”。

　　这能走多远?

　　很明显，我们将看到更多的液体冷却，但它将在世界上占据多远?“简单的答案是技术和芯片组将决定市场从空气冷却转向液体冷却的速度，”Capes说。

　　另一个因素是这项技术是进入新建筑还是改造现有数据中心——因为无论是单相还是两相，液冷系统都比风冷系统重。

　　较旧的数据中心可能根本无法支持大量浸入式水箱。

　　Capes说：“如果你有一个三层楼的数据中心，并且你的第二层和第三层设计为每平方英尺250磅的地板负荷，那么在所有这些楼层部署浸入式冷却可能是一个挑战。”。

　　“但有趣的动态是，因为你可以从根本上提高每个油箱的功率，你可能不需要第二层和第三层。你可以在一楼的地板上完成你在三层或四层楼用空气冷却时所做的事情。”

　　一些数据中心可能会演变为在一楼的混凝土板基座上安装液体冷却系统，而任何持续的空气冷却系统都将安装在上层。

　　但是Capes说，新建筑的建造可能考虑到了液体冷却：“我本周与一家著名的托管公司进行了交谈，他们说他们将把所有建筑的设计为每平方英尺500磅，以适应浸入式冷却。”

　　提高对数据中心耗水量的认识可能会加快采用速度：“如果其他Hyperscaler公司像微软一样提出了积极的节水目标，那么这将加快液体冷却的采用速度。”

　　Capes说，如果水冷在市场上占据相当大的比例，比如说20%，这将开启“一个我们从未见过的转变”。“很难说未来五年或十年内我们是否会看到这一前景，但如果水资源短缺和更高的芯片功率继续成为趋势，我认为我们将看到超过一半的数据中心采用液态冷却。”

　　责任编辑：张华