摘要:让这场革命成为可能的是一件简单的事情:让网卡变得更智能。这一过程始于智能网络接口卡或智能网卡,并由此产生了一种专用芯片:DPU或数据处理单元,这是一种名称模糊的设备,具有广泛的应用。 |
VMware产品管理vSphere副总裁保罗·特纳(Paul Turner)在一篇博客中说:“我们即将开始IT基础架构的下一次重大架构转变。他说的是新的服务器,这些服务器是在一个经济高效的外形中以最大的可编程性构建的。
让这场革命成为可能的是一件简单的事情:让网卡变得更智能。这一过程始于智能网络接口卡或智能网卡,并由此产生了一种专用芯片:DPU或数据处理单元,这是一种名称模糊的设备,具有广泛的应用。
特纳预测:“随着这些DPU变得越来越普遍,我们可以预期DPU将处理加密/解密、防火墙、数据包检查、路由、存储网络等功能。”。
SmartNICs的诞生
专门的芯片之所以存在,是因为x86系列处理器擅长于一般用途的任务,但对于特定的任务,它们可能比专门构建的系统慢得多。这就是为什么图形处理器芯片(GPU)蓬勃发展的原因,首先是在游戏机中,然后是在人工智能系统中。
“GPU真的是被设计成最擅长用数学来画三角形的,”新型网络芯片的主要倡导者之一、Fungible的首席执行官埃里克·海斯解释道。“Nvidia的Jensen Huang非常出色地将这项技术应用于机器学习,并意识到体系结构非常适合这种类型的工作负荷。”
与GPU一样,SmartNICs从一个小任务开始:从CPU中卸载一些网络功能,这样网络流量可以更快地流动。而且,像GPU一样,他们最终发现自己有着广泛的用途组合。
但SmartNIC并不是一个统一的、一刀切的类别。德洛罗集团(Delloro Group)分析师冯男爵(Baron Fung)解释说,随着网络速度的加快,它们开始出现,必须承载更多用户的流量。
冯在DCD网络研讨会上解释说:“10Gbps现在更像是一种传统技术。”。“在过去几年中,我们看到一般的云服务提供商向25Gig转变,其中许多现在正在向400Gig过渡。”
与此同时,“云提供商需要整合成千上万最终用户的工作负载。智能网卡成为管理所有数据流量的解决方案之一。”
冯说,服务器可以使用高达200Gbps左右的标准或“基础”NIC。“如今,市场上的大多数服务器都有标准NIC。”
除此之外,网络供应商还创建了“高性能”NIC,使用专用ASIC卸载网络功能,但SmartNIC不同。
冯说:“智能网卡比高性能网卡增加了另一层性能。本质上,这些设备可以归结为完全可编程的设备,具有自己的处理器、操作系统、集成内存和网络结构。它就像服务器中的服务器,提供不同于主机CPU的卸载服务。”
这是一个增长领域:“现在智能网卡的数量相对较少,但在未来几年,我们看到这些设备的采用率越来越高。”
SmartNICS正从专业市场转向更广泛的用途:“如今,大多数智能设备都是亚马逊和微软等云超规模公司独有的,他们正在为自己的数据中心构建自己的SmartNICS,”冯说。“但随着供应商发布更多创新产品,以及更好的软件开发框架,以供最终用户优化他们的设备,我们也可以看到更多的产品被其他市场采用。”
智能网卡在未来几年将以3%的年增长率增长,但仍将是整个市场的一小部分,因为它们价格昂贵:“如今,它们的价格是标准网卡的三到五倍。这种高昂的成本需要证明。”
在一般的网络应用中,智能网卡可以通过提高网络效率来证明其成本合理。“它们还延长了基础设施的使用寿命,因为这些智能设备可以通过软件进行优化。这真的是一种平衡,无论智能网卡的更高价位是否合理。”
但由于不同的供应商使用不同的名称和不同的功能,这可能会造成混淆。除了SmartNICs和DPU之外,英特尔还加入了大致相似的基础设施处理单元(IPU)。
“不同的供应商有许多不同的首字母缩略词,我们看到供应商试图用他们正在解决的目标应用程序特有的功能来区分,”冯说。
输入可替换
其中一家供应商是可替代的。该公司是Pradeep Sindhu的创意,Pradeep Sindhu是一位强大的网络重建者,曾是施乐PARC的科学家,他于1996年创立了Juniper Networks。
Juniper的想法是将专用硅用于网络路由器,而不是使用在通用网络交换机上运行的软件。它迅速从思科手中抢走了市场份额。
2015年,Pradeep成立了Fungible,再次制造专用设备——只是这次制造了被他称为“数据处理单元”或DPU的网络加速器。他现在是首席技术官,首席执行官的角色由长期担任硅谷高管的埃里克·海斯接任。
海斯说,可替代的愿景基于将更多数据从一个地方转移到另一个地方的需要:“到处都是数据,每个人都在收集数据和存储数据。问题真的归结到如何处理所有这些数据?”
Equinix的设计师卡拉达尔·沃鲁甘蒂(Kaladhar Voruganti)给出了一个具体的例子:“一架飞机每天每架飞机产生大约4.5 TB的数据。如果你试图创建模型或数字双胞胎,你可以想象一个人必须移动的数据量,”在Equinix首席技术官办公室工作的沃鲁甘蒂说。
Hayes说,CPU和GPU的设计目的并不是为了帮助完成移动和处理数据的任务:当你开始在通用CPU或GPU上运行这些类型的工作负载时,你的效率会非常低,相当于每个时钟获得一条指令。你燃烧了大量的内核,而且你没有为你燃烧的能量做很多工作。”
Hayes认为,SmartNIC和DPU之间有着明显的区别,它们超越了严格的网络任务:“DPU是为数据处理而设计的。它们是为处理x86和GPU无法高效完成的数据而设计的。”
他说,总体拥有成本的好处是显而易见的:“这实际上取决于添加GPU来完成这些工作负载的增量成本与通用处理量的对比,否则你就必须烧掉。
根据海斯的说法,早期的智能网卡“只是Arm或x86 CPU的不同组合,带有FPGA和硬连线的可配置管道。它们在灵活性方面的性能权衡有限。”
相比之下,Fungible的DPU“有一个定制设计的CPU,允许使用紧密耦合的硬件加速的定制指令集。因此,该体系结构可以同时实现灵活性和性能。”
可替换芯片有一个带有紧密耦合硬件加速器的MIPS 64位RISC处理器:“数据路径CPU中的紧密耦合硬件加速器:这是DPU的定义。”
DPU可以容纳“一个非常非常高效的TCP堆栈实现,与通用CPU相比,每个可用时钟的指令级别最高。”
DPU做什么?
DPU使网络化处理速度更快,但Fungible正在研究三种特定的应用程序,它们会动摇IT堆栈的其他部分。
第一个是最明显的:加速网络。
由于软件定义网络(SDN)运动,网络越来越多地通过软件实现。“这可以追溯到Nicira(被VMware收购的SDN先驱)的时代,”Hayes说。SDN网络通过在软件中处理其功能,使系统更加灵活。但海斯说,当该软件在通用处理器上运行时,“效率极低”
Hayes说,SmartNICs采取了一些措施来改进SDN功能,但“没有达到DPU的性能水平”
除了简单的SDN之外,智能网卡将在更智能的网络生态系统中发挥重要作用,例如为实现5G交付而出现的OpenRAN(开放无线电接入网络)系统。
重写存储
下一个应用程序要雄心勃勃得多。Hayes说,DPU可以通过创建TCP/IP上运行的内存访问协议并卸载这些协议,从而创建“内联计算存储”,从而为以数据为中心的时代重建存储
NVMe或非易失性存储器express是一种设计用于访问闪存的接口,通常通过PCI express总线连接。通过TCP/IP运行NVMe,并将整个堆栈放在DPU上,从CPU上卸载整个内存访问任务,这意味着闪存不再需要直接连接到CPU。
Hayes说:“通过TCP进行NVMe的目的是能够将所有闪存从服务器中取出。”。“您可以定义一个非常简单的服务器,使用通用x86进行通用处理,然后插入一个DPU来为您完成所有剩余的存储工作。”
就CPU而言, “DPU看起来像一个存储设备,它就像一个存储设备,卸载了通常必须在通用处理器上运行的所有驱动程序。这是x86或Arm必须做的大量工作——它被卸载到GPU上,释放了所有这些周期,以达到您希望服务器i“首先。”
Hayes说,通过TCP/IP访问的闪存设备可以从本地磁盘变成集中池存储设备。“这变得非常高效。它是内联计算存储,这意味着我们实际上可以处理进入存储或返回存储的数据。此外,我们可以在数据静止时处理它。你不需要移动数据,你可以用GPU在本地处理它。”
高速GPU
在最后一个应用程序中,DPU遇到了另一个重要的卸载工具GPU,并帮助更好地利用它们——因为毕竟,CPU和GPU之间有很多通信。
“在今天的大多数情况下,你有一个基本的x86处理器,可以照顾很多GPU,”海斯说。“由于数据必须通过PCI接口从GPU进出,并进入通用CPU内存,这就成为了一个瓶颈。”
Hayes说,将通信任务交给DPU可以让你“分解这些GPU”,将它们划分为独立的模块,可以独立处理。“它可以减少对GPU-PCI接口的依赖,让您能够混合和匹配任意数量的GPU,甚至可以在多个CPU之间对它们进行薄片分割。”
他说,在多用户环境中,这比将多组GPU专用于特定的x86处理器要高效得多,也更实惠。
DPU的最后一个用例是安全性。海斯说,他们可以被赋予加速加密和解密的能力,网络提供商对此表示欢迎。沃鲁甘蒂说:“我们希望确保我们拥有的布料是安全的。”。
为服务提供商和企业提供更便捷的裸机服务
Equinix热衷于使用DPU,它有一个非常可靠的应用程序:Metal,这是一个裸机计算点播服务,它使用最近的数据包收购技术实现。
在金属领域,Equinix为客户提供了在其设施中使用物理硬件的机会,但它希望为客户提供灵活性。使用DPU,它可能允许相同的硬件执行完全不同的任务,而无需物理重新布线。
Voruganti说:“我喜欢Fungible的解决方案,它能够在不同的解决方案中以不同的形式使用DPU。”。“我认为在软件定义的可组合模型中,将有新的软件来配置硬件,例如AI服务器、存储控制器头或其他设备
“与其用不同的卡配置不同的服务器,并拥有许多不同的服务器SKU,我认为如果我们可以使用软件基本上根据用户需求组合服务器,我们的生活会变得更加轻松。”
这听起来像是一个相当专业的应用程序,但也有许多企业对Equinix这样的裸机服务提供商有类似的需求。
在“云回归”的旗帜下,现在有一场巨大的运动,在这场运动中,幻想破灭的早期云客户发现,当他们把所有东西都放到云中时,他们几乎无法控制自己的成本。因此,他们正在将资源移回巨无霸或自己的数据中心空间。
但他们有一个问题,海斯说。“你已经摆脱了云中所有不受控制的成本,但你仍然希望它看起来像你在云中已经习惯的那样。”
这些新的企业实施是“混合的”,但它们需要灵活性。“很多从云计算起步的企业,不一定拥有一家从私有网络起步的公司的网络基础设施和IT人才,”Hayes说,“让他们更容易构建、操作和部署这些类型的网络。”
需要的标准
但这还为时过早,沃鲁甘蒂希望供应商能解决一两件事:“我们仍处于起步阶段,所以公共云供应商对quote-unquote smartNICs有不同的口味,”他说。
“运营商面临的挑战之一是,我们希望行业实现一些标准化,以便运营商能够出于供应链原因在供应商之间切换,并拥有多供应商战略。”
然而,现在,由于DPU和SmartNIC供应商提供了不同的体系结构,“这是SmartNIC供应商之间的典型比较。”
有了一些定义,这个行业可能会有一个生态系统,DPU甚至可能成为或多或少的标准产品。
耗电的DPU?
他还有另一个不满:“我们也担心功耗。虽然供应商喜欢替代工作以保持在电源范围内,但我们认为整体硬件设计必须与数据中心设计更无缝地集成。”
他说,装有智能网卡的机架正在“增加功率范围”。“从历史上看,我们每个机架的功率可能为7.5kW,在某些情况下最高可达15千瓦。但我们发现,随着新的计算和存储应用程序的出现,现在每个机架的功率需求在30到40kW之间。
仅仅在数据中心中添加另一种耗电的芯片类型是没有好处的,这种芯片的设计目的是让上一代硬件保持凉爽:“我认为这些硬件供应商正在使用的冷却策略必须更加无缝地集成,以获得更好的冷却解决方案。”
Equinix的目标是在一定程度上控制特殊处理单元:“我们正在研究Open19标准,并开始与不同的供应商和行业接触,看看我们是否能够实现标准化,以便轻松提出冷却解决方案。”
标准——还是性能?
海斯接受了这些观点,但他并不热衷于将自己的特殊产品商品化,并表示需要专业硬件来避免过热:“这一切都与软件有关。在我们看来,从长远来看,这个市场的赢家将是能够在尽可能最高效的基础设施中构建所有这些服务的公司。基础设施的效率越高,功耗越低,每个CPU和每位闪存可以获得的用户越多,因此你将获得更多的利润。”e、 "
分析师冯先生可以看出标准化的困难:“如果能有多个供应商的解决方案就好了。但我真的不认为会发生这种情况,因为每个供应商都有自己不同的解决方案。”
但他认为必须出现一个更标准化的生态系统,如果DPU要接触到更多的客户:“我预测大约三分之一的DPU市场将在较小的供应商和私有数据中心。必须有软件开发工具包,使这些较小的公司能够将产品推向市场,因为他们没有像AWS或Microsoft这样的数千名工程师。”
责任编辑:张华