机房360首页
当前位置:首页 » 大数据 » 用分布式存储来应对大数据应用趋势

用分布式存储来应对大数据应用趋势

来源:机房360 作者:yuxin编辑 更新时间:2013/10/17 16:38:58

摘要:对于那些拥有庞大用户数量的通信网络运营商来说,其数据的“产量”一直都很大。电信业的数据类型主要包括客户信息数据、业务过程数据、网络运行数据。

  数据的量级规模需要相应的存储技术解决方案来支撑,解决方案的能力体现为数据容量、数据处理速度和数据吞吐速率等指标。
  
  从传统存储走向分布式存储
  
  传统上,运营商采用关系数据库(RDB)或数据仓库(DW),主要处理电信业务运营过程数据、资源信息、话单记录等结构化的数据类型。对于核心业务,一般的数据容量在20TB量级,吞吐速率IOPS在20K~2M量级;对于非核心业务,数据容量可能达到3PB,吞吐速率IOPS达到1K~10K量级。传统的存储服务器采用2~16个控制器加上最大1500块硬盘的配置,是可以满足这种量级的关系型数据库应用需求的。
  
  在移动互联网数据业务崛起之后,原有的这些结构化数据在全部数据量中所占的比例迅速降低。运营商经常会看到,80%以上的新增数据都是视频流、网页链接、图片、文本等非结构化或半结构化数据,也就是如今众所周知的“大数据”。对于运营商来说,大数据蕴含着众多的增值业务创新机会。但要利用大数据实现业务创新,必须重新审视存储解决方案。
  
  如果沿用传统的SAN方案,采用专用存储服务器来应对数据扩容的话,需要付出高额的前期投资;而且垂直化的专用存储管理软件,难以让不同的子系统之间共享存储资源,从而降低了运营商的投资回报率。分布式存储的引入,能够很好地解决传统SAN难以根除的容量和性能均衡分布的难题。
  
  此外,不同类型的数据被访问或被处理的“热度”是不一样的,大量的“冷”数据并不需要很高的响应速度,如果采用可扩展性更灵活的廉价存储方案,能够使运营商节省大量的设备投资成本。在分布式存储系统中,数据类型按照数据的使用“热度”,可以分为在线、近线、离线数据,对不同热度的数据采取不同的技术策略。
  
  对于拥有庞大用户数量的通信网络运营商来说,其数据的“产量”一直都很大。电信业的数据类型,主要包括客户信息数据、业务过程数据、网络运行数据。数据的量级规模需要相应的存储技术解决方案来支撑,解决方案的能力体现为数据容量、数据处理速度和数据吞吐速率等指标。
  
  从传统存储走向分布式存储
  
  传统上,运营商采用关系数据库(RDB)或数据仓库(DW),主要处理电信业务运营过程数据、资源信息、话单记录等结构化的数据类型。对于核心业务,一般的数据容量在20TB量级,吞吐速率IOPS在20K~2M量级;对于非核心业务,数据容量可能达到3PB,吞吐速率IOPS达到1K~10K量级。传统的存储服务器采用2~16个控制器加上最大1500块硬盘的配置,是可以满足这种量级的关系型数据库应用需求的。
  
  在移动互联网数据业务崛起之后,原有的这些结构化数据在全部数据量中所占的比例迅速降低。运营商经常会看到,80%以上的新增数据都是视频流、网页链接、图片、文本等非结构化或半结构化数据,也就是如今众所周知的“大数据”。对于运营商来说,大数据蕴含着众多的增值业务创新机会,如:存储,查询,分析处理,以及诸多数据量大、需求灵活多变、需要高聚合带宽访问的抽取/转换/加载(ETL)类应用等。
  
  但要利用大数据实现业务创新,必须重新审视存储解决方案。如果沿用传统的SAN方案,采用专用存储服务器来应对数据扩容的话,需要付出高额的前期投资;而且垂直化的专用存储管理软件,难以让不同的子系统之间共享存储资源,从而降低了运营商的投资回报率。分布式存储的引入,能够很好地解决传统SAN难以根除的容量和性能均衡分布的难题。典型的分布式存储系统,采用1~2U的存储服务器,每台服务器带有8~24块硬盘,在标准的服务器机架上很容易实现性能和容量的扩展,维护也非常简单。
  
  分布式存储的发展预示着存储从专有系统逐渐向开放系统演进。一个完整的系统,从底层往上层大致可分为芯片、硬件、操作系统和软件、API、管理系统这几个层次。传统存储系统中的芯片和硬件是为存储功能而定制化的,硬件中的ASIC/FPGA是为特定的简单重复性功能而设计,优点是速度快、效率高,缺点是计算能力弱,单一硬件模块无法应对多种任务,而要为整个系统中的众多任务都设计单独的专用硬件则复杂度过高。
  
  基于通用的标准化商用硬件平台,在软件堆栈中加入不同的软件功能,利用通用平台的计算能力来替代专用电路,这就是“软件定义的存储”。快速更新的X86硬件产品具备了越来越强大的计算能力,能够支持的软件功能也越来越强大,这使得存储和计算的传统功能边界变得模糊,基于标准化硬件平台的“融合式存储服务器”逐渐取代定制化芯片和定制化硬件成为大势所趋。
  
  底层硬件平台成为标准化之后,相应地,其上的操作系统和软件层也将从专有系统过渡到开放或半开放系统。未来的存储系统,可能除了部分中间件仍然使用专有软件外,用户将会越来越多地选择开放的操作系统、开放的API、以及开放的管理系统。
  
  英特尔以新产品线迎合存储新趋势
  
  最近英特尔推出的单芯片系统(SoC)C2000系列,主要定位于微型服务器市场,它的一个重要应用场景就是应对不断增长的“冷数据”存储市场需求。Avoton是业界首次采用22纳米制程工艺制造的微型服务器。其热设计功耗(TDP)为6~22瓦,包含8个低功耗的“凌动”内核,集成以太网并支持最高达64GB的内存。
  
  Avoton针对特定的轻量型工作负载进行了特性定制和优化,如入门级专用托管服务、分布式内存缓存、静态网络服务、内容分发等,以实现最佳效率。Avoton的亮相,使得英特尔除了传统的高性能“至强”平台之外,又拥有了一个新利器来助推软件定义存储的大趋势。我们很快会看到,未来数据中心的新存储系统将以更高的性价比来构建,并实现更高的能效水平。
  
  责任编辑:余芯

机房360微信公众号订阅
扫一扫,订阅更多数据中心资讯

本文地址:http://www.jifang360.com/news/20131017/n950853384.html 网友评论: 阅读次数:
版权声明:凡本站原创文章,未经授权,禁止转载,否则追究法律责任。
转载声明:凡注明来源的文章其内容和图片均为网上转载,非商业用途,如有侵权请告知,会删除。
相关评论
正在加载评论列表...
评论表单加载中...
  • 我要分享
推荐图片