机房360首页
当前位置:首页 » 存储资讯 » 存储系统应对大数据问题的三大主流

存储系统应对大数据问题的三大主流

来源:机房360 作者:Alisa编辑 更新时间:2012-10-12 16:04:44

摘要:作为富媒体应用来说,数据压力集中在生产和制造的两头,比如做网游,需要一个人做背景,一个人做配音、一个人做动作,渲染等等,最后需要一个人把它们全部整合起来。

  在数据处理过程中,一般情况下一个文件大家同时去读取,对文件并行处理能力要求高。通常需要能支撑大块文件在网上传输。针对这类的问题,集群NAS是存储首选,在集群NAS中,最小的单位个体是文件,通过文件系统的调度算法,其可以将整个应用隔离成较小且并行的独立任务,并将文件数据分配到各个集群节点上。
  
  集群NAS和Hadoop分布文件系统的结合,这种方式对于大型的应用具有很高的实用价值。典型的例子时IsilonOS和Hadoop分布文件系统集成,常被应用于大型的数据库查询搜索、密集型的计算、生命科学、能源勘探以及动画制作等领域。常见的集群NAS产品有EMC的Isilon、HP的Ibrix系列、IBM的SoNAS、NetApp的OntapGX等。
  
  存储技术变得更加重要
  
  非结构数据的增长非常迅速,除了新增的数据量,还要考虑数据的保护。来来回回的备份,数据就增长了好几倍,数据容量的增长给企业带来了很大的压力。如何提高存储空间的使用效率和如何降低需要存储的数据量也成为企业绞尽脑汁要考虑的问题。
  
  王丛表示,应对存储容量有一些优化的技术,象重复数据删除(适用于结构化数据)、自动精简配置和分层存储等技术,都是提高存储效率最重要、最有效的技术手段。如果没有虚拟化、存储利用率只有20-30%,通过使用这些技术,利用率提高了80%,可利用容量增加一倍不止。结合重复删除技术,备份数据量和带宽资源需求可以减少90%以上。
  
  此外,云存储的方式在欧美市场上的应用很广泛,大数据用云的形式去交付有两个典型,面对好莱坞的电影制作商,这些资源是黄金数据,如果不想放在自己数据中心里,把它们归档在云上,到时再进行调用。此外,越来越多的企业将云存储作为资源补充,提高持有IT资源利用率。
  
  最后,王丛强调到,无论是大数据还是小数据,企业最关心的是处理能力,如何更好的支撑IT应用的性能。所以企业做大数据时,要把大数据问题进行分类,究竟是哪一类的问题,和企业的应用做一个衔接和划分。企业不要被误导了,就象云计算,价值很大,但在中国被误导了,厂商也受害,用户也受害。

  责任编辑:Alisa编辑

本文地址:http://www.jifang360.com/news/20121012/n298940959.html 网友评论: 阅读次数:
版权声明:凡本站原创文章,未经授权,禁止转载,否则追究法律责任。
相关评论
正在加载评论列表...
评论表单加载中...
  • 我要分享
更多
推荐图片