机房360首页
当前位置:首页 » 应用体验 » 为什么擦除编码是数据弹性的未来

为什么擦除编码是数据弹性的未来

来源:机房360|datacenter dynamics 作者:Dinesh Kumar Bhaskaran, Aricent 更新时间:2018/7/20 8:47:48

摘要:在数据弹性方面,运行在RAID(独立磁盘冗余阵列)上的经典SAN存储解决方案对企业来说具有很大的意义,在某些情况下仍然如此。部署它们的专业人员对其高度熟悉是一个重要的优势。此外,RAID运行条带化、镜像和奇偶校验请求的能力使其成为传统的首选数据弹性选项。

  在数据弹性方面,运行在RAID(独立磁盘冗余阵列)上的经典SAN存储解决方案对企业来说具有很大的意义,在某些情况下仍然如此。部署它们的专业人员对其高度熟悉是一个重要的优势。此外,RAID运行条带化、镜像和奇偶校验请求的能力使其成为传统的首选数据弹性选项。

  然而,新数据经济的需求给这种方法带来了越来越大的压力。许多数据中心以及企业发现它的成本太高。恢复时间过长,并且在恢复过程中结合RAID的漏洞问题,现在是考虑采用替代方案的时候了。

  与基于硬件的模型不同,擦除编码(EC)是一种快速发展的选择。EC基于算法,因此不依赖于任何特定硬件。它不需要专门的硬件控制器,并提供更好的弹性。更好的是,它也在恢复过程中提供保护。根据弹性程度,只有一半数据元素(任何元素)可用时,可以实现完全恢复。在这方面,它比RAID具有很大的优势。此外,与镜像相比,擦除编码(EC)也消耗更少的存储空间。

  擦除编码(EC)的工作原理

  擦除编码(EC)在增加数据之前将数据分解为碎片。然后它用冗余的信息对它们进行编码。这些编码的片段分布在各种各样的位置。即使它在一个节点上变得不可读,它仍然可以使用有关其他地方存储的数据的信息拼凑在一起。

  与大多数解决方案一样,企业、数据中心和存储专业人员需要谨慎考虑这些权衡。首先,擦擦除编码(EC)是CPU密集型的,可能会导致延迟问题。但是,值得注意的是延迟问题并非给定。它是存储效率和容错之间平衡的结果。

  与传统擦除编码(EC)的另一个主要权衡是需要平衡存储效率和容错这两个性能指标。两者之间的关系是成反比的。存储效率是确保弹性所需的额外存储的指标,而容错是元件故障时恢复可能性的指标。

  使用擦除编码(EC),数据分布越多,通常意味着地理位置越分散,从不同的数据中心位置和系统调用的时间越长。延迟是给定的。

  出现问题时:节点故障

  虽然节点故障和其他降级读取问题已经困扰数据中心一段时间,但新一代超大规模数据中心加剧了数据弹性的挑战。并非所有纠删码算法都是平等的,但最佳解决方案的编码具有低修复带宽和低修复度能力。

  这是因为现代擦除编码(EC)已经发展到满足新的数据需求。因此,它包括本地再生代码、具有可用性的代码、具有顺序恢复的代码、耦合层MSR代码、可选恢复代码等,这些代码是高度定制的。

  优化擦除编码(EC)

  如前所述,尽管擦除编码有很多优点,但实际情况是它是一项计算密集型工作。这正是为什么学术界和工业界正在研究正在进行的研究项目,以研究如何优化和卸载擦除编码(EC的各个方面。一些有希望的卸载解决方案正在涌现。

  (1)硬件创新:这不仅仅取决于算法。随着硬件的发展,GPU或FGPA等计算资源将变得更加高效。

  (2)EC算法的并行化:这是基于以下概念:当多个进程同时执行,并且当现代弹性代码具有某些向量代码的情况时,这些向量方法可以利用GPU核心和高速在核心内存(如Texture Memory)上实现并行性。

  (3)结构加速:下一代主机通道适配器(HCA)提供计算引擎,充分利用RDMA和动词等功能。编码和传输操作在HCA中处理。通过RDMA,它为存储集群提出了更多的加速。

  擦除编码(EC的前景如何?

  擦除编码的未来是光明的。在数据弹性、压缩和重复数据删除方面,其创新速度惊人。由于NVMe技术的极低延迟,存储与应用程序特性的更紧密集成以及更新的虚拟化选项,已经开启了大量新用例的商业机会。

  编辑:Harris


机房360微信公众号订阅
扫一扫,订阅更多数据中心资讯

本文地址:http://www.jifang360.com/news/2018720/n2932105015.html 网友评论: 阅读次数:
版权声明:凡本站原创文章,未经授权,禁止转载,否则追究法律责任。
相关评论
正在加载评论列表...
评论表单加载中...
  • 我要分享
推荐图片