机房360首页
当前位置:首页 » 大数据 » 大数据存储平台要有弹性

大数据存储平台要有弹性

来源:机房360 作者:yuxin编辑 更新时间:2013/8/7 16:38:39

摘要:“大”是相对而言的概念,也可以是一个迅速变化的概念。大多数人认为,USP的存储容量大得有些离谱。但是现在,大多数企业都已经拥有PB级的数据量,一些搜索引擎公司的数据存储量甚至达到了EB级。由于许多家庭都保存了TB级的数据量,一些云计算公司正在推广其文件共享或家庭数据备份服务。

  当前,业界对大数据的讨论颇多,公认的看法是将大数据的系列问题归纳为:海量的数据规模(volume)、快速的数据流转和动态的数据体系(velocity)、多样的数据类型(variety)和巨大的数据价值(value),以及我们的对策。但事实却是,大数据首先要考虑的应该是“大”——海量的数据规模。
  
  大数据之“大”
  
  “大”是相对而言的概念,也可以是一个迅速变化的概念。大多数人认为,USP的存储容量大得有些离谱。但是现在,大多数企业都已经拥有PB级的数据量,一些搜索引擎公司的数据存储量甚至达到了EB级。由于许多家庭都保存了TB级的数据量,一些云计算公司正在推广其文件共享或家庭数据备份服务。
  
  有容乃“大”
  
  大数据对存储容量的需求已经超出目前用户现有的存储能力。我们现在正处于PB级时代,而EB级时代即将到来。过去,许多企业通常以五年作为IT系统规划的一个周期。在这五年中,企业的存储容量可能会增加一倍。现在,企业则需要制定存储数据量级(比如从PB级到EB级)的增长计划,只有这样才能确保业务不受干扰地持续增长。这就要求实现存储虚拟化。存储虚拟化是目前为止提高存储效率最重要、最有效的技术手段。它为现有存储系统提供了自动分层和精简配置等提高存储效率的工具。
  
  拥有了虚拟化存储,用户可以将来自内部和外部存储系统中的结构化和非结构化数据全部整合到一个单一的存储平台上。当所有存储资产变成一个单一的存储资源池时,自动分层和精简配置功能就可以扩展到整个存储基础设施层面。在这种情况下,用户可以轻松实现容量回收和容量利用率的最大化,并延长现有存储系统的寿命,显著提高IT系统的灵活性和效率,以满足非结构化数据增长的需求。中型企业可以在不影响性能的情况下将HUS的容量扩展到近3PB,并可通过动态虚拟控制器实现系统的快速预配置。此外,通过HDSVSP的虚拟化功能,大型企业可以创建0.25EB容量的存储池。随着非结构化数据的快速增长,未来,文件与内容数据又该如何进行扩展呢?
  
  不断“生长”的大数据
  
  与结构化数据不同,很多非结构化数据需要通过互联网协议来访问,并且存储在文件或内容平台之中。大多数文件与内容平台的存储容量过去只能达到TB级,现在则需要扩展到PB级,而未来将扩展到EB级。这些非结构化的数据必须以文件或对象的形式来访问。基于Unix和Linux的传统文件系统通常将文件、目录或与其他文件系统对象有关的信息存储在一个索引节点中。索引节点不是数据本身,而是描述数据所有权、访问模式、文件大小、时间戳、文件指针和文件类型等信息的元数据。
  
  大数据存储平台必须能够不受干扰地持续扩展,并具有跨越不同时代技术的能力。数据迁移必须在最小范围内进行,而且要在后台完成。大数据只要复制一次,就能具有很好的可恢复性。大数据存储平台可以通过版本控制来跟踪数据的变更,而不会因为大数据发生一次变更,就重新备份一次所有的数据。
  
  传统文件系统与块数据存储设备不支持动态扩展。大数据存储平台还必须具有弹性,不允许出现任何可能需要重建大数据的单点故障。大数据存储平台需要将文件、块数据和内容集成到一个统一的HitachiCommandSuite管理平台之上,以满足大数据处理和应用的需求。
  
  责任编辑:余芯

机房360微信公众号订阅
扫一扫,订阅更多数据中心资讯

本文地址:http://www.jifang360.com/news/201387/n526751459.html 网友评论: 阅读次数:
版权声明:凡本站原创文章,未经授权,禁止转载,否则追究法律责任。
转载声明:凡注明来源的文章其内容和图片均为网上转载,非商业用途,如有侵权请告知,会删除。
相关评论
正在加载评论列表...
评论表单加载中...
  • 我要分享
推荐图片