摘要：洞察应用存储负载，建立性能量化评估体系，构筑客户可信性能的全闪存储。

　　洞察应用存储负载，建立性能量化评估体系，构筑客户可信性能的全闪存储。

　　非一家之言：站在行业角度观察硬盘-混闪-全闪的性能演进

　　想从金融、通信、AI行业等关键行业应用的角度观察存储应用发生的变化，包括全闪存存储应用负载的特征、负载描述系统性以及相关指标的变化等等，进而预测未来存储进展方向、面临的性能瓶颈以及突破这些瓶颈提供需要的软件技术等，能提供最权威答案的，当属存储委员会(Storage Performance Council，简称SPC)。

　　查阅SPC的历次报告可以发现，2012年以前，厂商送测的存储介质均为硬盘;2012年至2016年之间，已经有厂商开始提交NAND SSD，还有一些厂商送测采取分层或者缓存等某种混合有NANA闪存盘;从2016年至今，所有厂商送测SPC的存储配置都是NAND SSD。这意味着，性能存储已经全面进入全闪时代。

　　SPC-1性能测试结果发展规律

　　从行业洞察角度，浪潮还注意到这样一个现象：在SPC报告显示主流厂商双控性能呈现这样的态势：每四年IOPS翻番、延迟也是倍速降低;KIOPS的价格下降4倍、GB单价下降两倍。

　　为什么要关注双控?因为盘阵、集中存储使用的缓存镜像保存大量元数据、配置数据、集群数据、状态数据，在空闲时数据才会写入磁盘，为防止单点失败，至少会在两个控制器保存有副本，以提高可靠性，通常只有这两个控制器针对同一个I/O流、同一个卷才能承接存储服务。

　　浪潮存储首席架构师孙斌介绍存储从硬盘、混闪到全闪的性能演进历程。

　　从双控角度，IOPS的值代表着存储性能的一个重要指标，无论是4控、8控还是16控，四年来，这个值迭创新高。

　　从SPC的报告中选择了两组数据作为对照，总结出存储的“硬盘-混闪-全闪”的性能演进历程：

　　硬盘时代，双控IOPS的最高值是25万，TOP厂商的平均IOPS约为十万;在全闪存的今天已经实现了双控45万，顶级厂商平均IOPS突破了131万;

　　在平均延时方面，硬盘时代是5.11毫秒，如今已经低至0.92毫秒，并且所有厂商都可以做到IO亚毫秒级响应;

　　在平均性价比方面，每KIOPS从硬盘时代的5139美元跌至今天的328美元，差距扩大至三到四倍，原因是除了介质的变化，还在于CPU性能的提升以及软硬件融合;

　　在可用空间方面，软件栈技术的采用，使得RAID0提升至RAID5，可用资源大幅节省，同样的投资可以获得更多的物理空间，另外，需求提升了产能，每GB投入从50美元下降到今天的14美元。

　　从上可以发现，一方面，企业客户的数据持有量在持续膨胀，另一方面，技术的使然，从硬盘到混闪、SSD全闪时代，存储成本每四年倍速递减。

　　你方唱罢我登场，SPC价值犹存

　　SPC是由世界级存储供应商联合组成的一个非盈利机构，20年来专注于存储行业供应商性能评测。针对存储行业的需求和关注，SPC创建了首个存储行业标准的性能标准。从组件级评估到完整的分布式存储系统的测量，SPC标准提供严格的、经过审计的和可靠的性能度量。

　　SPC收集客观并分析送测厂商从硬盘、混闪到全闪时间推移的变化过程中双控系统IOPS、平均延迟、$/KIOPS，ASU价格等产品及指标变化，尝试定义存储性能负载(workload)以及提供产生负载压力测试工具，为厂商提供可以发布自行测试平台一类的服务，对每个版本性能负载详细的定义是公开的，任何厂商都可以免费下载，但测试工具则需要成为会员去购买，每次发布厂商报告需要支付一定的费用。

　　SPC的观点经常被业界主流媒体及机构，诸如Block&File (Chris Mellor)、TheRegister、StorageNewsLetter、ZDNet等引用，相关的主流厂商也选择不同维度进行分析，形成新的观点。

　　十年前，SPC榜单上全球前五名的存储厂商基本上都来自美国，随着日本、中国、韩国等亚洲厂商陆续介入，两年前开始，美国厂商越来越少了。

　　按照不少存储大咖的观点，美国厂商退出后，这个榜单就没有什么价值了，因为都是亚洲厂商在“玩”，而且这些厂商的产品也很难打入美国市场。

　　但浪潮存储并不这么看。

　　“尽管美国公司越来越少，但这个榜单依然有效。”浪潮认为原因在于，跟行业TOP客户沟通交流的时候，厂商要想证明自己的产品性能和技术实力，仅靠自家的测试报告、成功案例远远不具备说服力，必须提供第三方公告到整个生态圈的测试报告。

　　其次，全闪栈对硬件软件产生的变革发挥着积极的作用，而SPC尝试对在线事务处理负载进行系统的梳理，并且在过去四年时间SPC持续演进，今年11月还发布了升级版3.10，因此可以断定Workload永远不会过时。这也是SPC另一项重要的贡献。

　　从榜单上看，最近两年技术更新进入了相对的平缓期，性能数据的变化已经下降为两位数。这引发人们对未来发展方向的猜想。在浪潮看来，未来四年，技术栈上存储还将迎来很多发展机遇，会有更多创新型厂商进入，所有厂商都将借助SPC榜单来展示自己存储性能的提升。

　　“在这样一个技术的变革期，谁抢占住风口就赢得更多的关注，并且能带动营销，反过来又促进研发投资、加速技术和产品的升级换代。”孙斌强调。

　　深度梳理和分析SPC Workload

　　浪潮对SPC的Workload进行了深度解读，期望借此对参与存储方案合作的SI、ISV合作伙伴以及行业最终客户起到一定的参考作用。

　　在这个将SPC全文100页的报告浓缩为一页的幻灯片上，存储空间被分成SU-1、SU-2、SU-3三部分，每个空间的比例不同，其中SU-1的Data Store超过50%，而SU-3为12.5%，这些空间的变化来自于SPC的会员单位的行业应用洞察。

　　这三部分存储空间承载的I/O并发流速并不一样，每个I/O流的I/O模式也各不相同，如SU-1的临时存储一共有四个并发流，其中三个都是8KB，另外一个流是混合流，速率从4K到64K不等，同时I/O流下发到尽管分出来差不多45的空间里，每个I/O流真正访问存储池或者卷，其存储空间的范围也不一样。

　　这些数据是捕捉了大量的workload后进行的一个系统统计分析，以尝试能够在实验室环境里面进行复原。

　　测试流程分为预埋数据、预埋数据监测以及数据收集，收集的各种性能数据涉及不同负载，时间可能长达到十几个小时，负载压力从百分之百满载按十个百分点下降或上升，之后再进行数据验证，检测数据是否为当时定义的数据模式，最后进入系统，这个时候会做一些控制器重启，检测可靠性等方面的能力。

　　全闪存最关注也是行业客户尚未关注到的I/O规格指标有哪些?浪潮最后得出的结论如下：

　　一是响应时间。

　　响应时间分成两类，一是百分之百满负载压力情况下，二是有选择的、不等负载力度环境下进行复杂运算(这种状态下客户可以感知到性能、感知到响应时间)。

　　二是延迟。

　　硬盘时代、响应时间为毫秒级的时候，尾延迟并不重要，但如果平均延时在一毫秒的时候，突然蹦出数十毫秒的响应，可能就要出问题了，因为大家一直习惯了非常快速的响应。不管延迟是99%，99.999%，误差都需要在5%这样一个时间范围内。

　　1.全闪Workload对比：从行业中来，到行业中去

　　目前，浪潮存储正尝试把全闪存应用最多的金融、通信以及AI等主流行业合作一起制订相应的行业标准。在金融行业，浪潮存储从2019年1月参与制订全闪的技术规范测试规范，也了解到这些行业的顶级企业在集采和入围采购环境下从混闪到全闪对workload的性能要求和规格变化，覆盖控制器升级/故障性能，盘故障、RAID重建性能。对比发现，通信和金融行业相对比较完善，AI在弹性能力和数据服务叠加领域还未涉及。

　　通过梳理后建立了三个纬度：

　　一是基准模式，包括业界熟知的I/O大小、随机顺序等;

　　二是弹性能力，如在客户生产应用的生命周期需要进行维护，包括综合横向的扩容、软件的升级，在真正出现这样那样软硬件的故障期间、恢复以后等的性能表现;

　　三是数据服务叠加。

　　从这三个方面来看规格指标的定义，SPC-1的workload指标定义与行业客户汇总起来的定义其实有偏差，各有长短，但是相对来说在基准测试模型方面，SPC的定义更系统、更完整。

　　2.全闪存储性能 场景关键能力之重

　　为什么业界对全闪系统更关注性能和workload、如何获取workload、如何存放存放workload，需要什么样的工具?

　　另一家行业组织，全球网络存储工业协会(Storage Networking Industry Association，简称SNIA)十多年前专门运作了类似的技术工作组并发布了相应的工具，不过业界参与的积极性还不够高。

　　在浪潮存储眼里，其实这是非常好的合作机会。

　　浪潮存储正在与部分高校合作。在沟通中发现，高等院校很希望接触到生产环境的测试，“从那儿挖掘出一些厂商以为是矿但高校认为是金子的好东西来”。

　　为了评估抓获workload存放产生负载，市场上已经推出了十多个工具，受到国内行业客户青睐的是vdbench，作为开源产品，由于创作者已经退休，所以该工具并没有得到持续维护，也一样存在有待于解决的问题。

　　无论是SPC还是IO500等专业工具以及商业工具、开源工具，除了体系梳理，将来也会存在变革的机会。

　　为什么要考虑全闪性能在场景存储关键能力上所处的位置?Gartner从2016年到2019年《全闪关键能力(critical capabilities)报告》时间轴变化中，把全闪存存储产品服务的IT应用场景分为五大类：在线交易、服务器虚拟化、高性能计算、数据分析和VDI;这五大场景中，Gartner收集的是真实客户使用IT基础设施的体验，以及从浪潮这样的存储厂商方面获取的信息。

　　通过建立相应的权重，可以看到性能在全闪的7项关键能力中在5大场景占据4个权重第一，其中虚拟桌面排名第二位，虚拟桌面存储的不全是持久的数据，也有一些虚拟机OS相关的临时文件，这部分数据如果出现问题，产生的影响不大，毕竟VDI客户关心的是数据的效率服务，比如重删、压缩等，后者比重占20%～40%;高性能计算的比重从42%提升至44%、数据分析场景从25%提升至36%，在线交易场景由28%降为26%，其他场景无变化。

　　Gartner的《全闪关键能力报告》中表明，厂商和客户应用关注的重点都在性能方面，并且正在加大研发领域的投入;性能，也堪称全闪存存储关键的因素。

　　3.存储负载与性能规格指标体系

　　依据各三方机构、行业客户的汇总信息，其建立的全闪存储工作负载、规格指标等其实各有短长;厂商也有责任和义务帮助用户明确workload要覆盖哪些、哪些是主流的、哪些是场景所需要不同的路径，同时也需要开发出自己能够捕获workload的测试工具，并在实验室里面可以重放，每一个新产品、新技术上市之前要做好验测，和一些场景结合定义方案。

　　浪潮存储对性能矩阵进行了结构化梳理，用一页PPT来呈现，组合了数千workload要素：一是基准，二是服务叠加，如快照、复制、双活以及压缩、重删等，三是在应用生命周期发生的扩容、升级、故障，维护等工作在迁移workload上面的性能指标。

　　最庞大的是基础。PPT对IOPS、I/O Sizes、随机顺序、读写比例等业界熟知的概念进行更多抽象化梳理，从而展示了一个树型的、从上往下，在椭圆形框中并行的选项，但真实生产应用环境存储负载远远不止一条路径，可能下来后有8条、16条几十条的路径下来，需要收集大量的规格指标。

　　4.全闪存储面临性能瓶颈

　　全闪的性能，多好算好，是不是已经足够好，发展到了尽头?

　　众所周知，时下计算机、服务器、存储、网络设计，都是遵从上世纪40年代的冯诺依曼架构，其I/O处理能力有两个基本的要求：容量按需增长、与计算处理一致的速度。在过去5年，CPU远远不及摩尔定律翻番的要求，人工智能GPU/NPU算力正在接棒CPU，延续高速增长摩尔定律，加剧存储I/O性能问题严重性。

　　站在今天的角度看明天，存储系统瓶颈已经很明显，NVMe(PCIeG3-G5)和DIMM成为SCM接口，并发效率极高，非易失性介质正在进化到存储级内存，访问速度的提升尤其是延迟的降低呈百倍级的变化，达到微秒级，而带宽随着PCIe的升级也是5至10倍的提升，曾经的16G正在向25G、64G、100G这样的高速存储发展。

　　借用行业两个经典报告《Redrawing the boundaries of software and Fast Memory 》与《Hennessy and Patterson, Computer Architecture》的数据来展示从硬盘时代到SAS SSD，NVMe SSD到DIMM的SCM介质，软件栈在延迟方面所占的权重越来越高，从不足1%到90%以上，即软件栈的延时瓶颈;而CPU的性能过去5年仅有5%的增长，已经成为IOPS的瓶颈。

　　洞察应用存储负载，建立性能量化评估体系，构筑客户可信性能的全闪存储。

　　存储性能增长技术及浪潮存储的创新实践

　　在浪潮存储眼中，业界存储性能增长方面正在研发、或刚刚完成或者是提前要启动的一些新技术可以分成四大类：

　　一是并行，从CPU多核/双路/多节点到集群的节点，从软件栈来看有三类技术，分别是IOPS与带宽、数据级并行DLP、任务级并行TLP;

　　二是针对热数据，提供机器学习的方法予以识别，通过分层和缓存技术降低响应时间;

　　三是软件栈简化，要做快速I/O路径，对CPU进行绑核，核之间不会出现争用。而且所有的软件栈，都是线性增长，用户态采用非中断轮询模式，数据平面内存零拷贝;

　　最后是硬件加速，方式有数据的转码、数据的传输，实现数十倍的提升。

　　以上是浪潮存储从一家存储企业去洞察行业在全闪应用workload负载，以及性能相关的规格指标得出的观察。

　　稍加留意，你就会注意到，最近一些年来浪潮在SPC基准测试报告当中浪潮存储不断获得最高的成绩，如中端存储AS5500G2在2018年以亚毫秒延迟的评测值和IOPS性能达到最高纪录的2.5倍成为全球中端存储的性能领跑者;2020年3月AS5600G2的IOPS评测值超越国内厂商全部高端存储，创造了16控存储产品性能的全球最高纪录;中端存储升级版AS5500G5 2020年8月创造了8控存储产品性能的全球最高成绩;入门级产品AS2200在10月份的SPC报告中，以优异的性能价格比排名全球第一。

　　浪潮预测未来2到3年，Nand SSD到SCM Disk到PMM、异构等很多新的介质，以及NVMoF、网络等新的协议，还有新的总线等将引发存储架构翻天覆地的变化。他指出，目前尚无完整的体系能够覆盖非常复杂、动态变化的存储负载，随着技术的持续演进，应用的也会发生变化。他相信，存储技术未来三到五年将面临重要的技术变革期，这个领域会变得越来越热闹，更多国家的厂商都会参与其中。

　　过去两年间，浪潮存储在性能领域做了大量的工作。以iTurbo智能加速引擎v2.0技术为例，它在资源调度方面对任务分核、并行无锁，增强软件并行功能以无限扩充硬件资源，同时让数据的识别进行分流处理，尤其是像全闪存这样上面两层下面两层，还要做垃圾的回收处理，智能感知技术可区分热温数据并进行分层或者缓存，对即将发生的数据进行预读。

　　十年的历练，浪潮存储已经积累的深厚的经验，在技术领域取得了一个接一个的突破，在应用领域也赢得越来越高端行业客户，奠定了存储行业领导场上的地位。前不久，浪潮存储又提出了“新存储之道”，即以存储平台为根基、七大极致技术为手段，加速数据处理、数据共享和加强数据在线，帮助企业解决新数据时代下的存储新挑战，彻底释放数据价值、为智慧时代提速。

　　责任编辑：张华