机房360首页
当前位置:首页 » 厂商策略 » facebook开发冷存储技术 低能耗低成本处理海量数据

facebook开发冷存储技术 低能耗低成本处理海量数据

来源:机房360 作者:jifang360.com 更新时间:2012/10/22 17:55:27

摘要:Facebook正在研发冷存储技术,以应对与日俱增的海量过时图片数据。

  Facebook的用户平均每个月要上传总量高达7PB的图片,面对这些海量数据,Facebook正在考虑全新的存储方式。该公司负责基础设施工程的副总裁杰伊·帕里克(Jay Parikh)表示,随着数据容量需求的增长,Facebook需要寻找价格和能耗都较低的存储途径。

  Facebook用户每天要上传约3亿张图片,在一些特殊的日子则会更多。以万圣节为例,这一天里的照片上传量可能会达到10到20亿张,是一年之最。

  但是节日过后,照片很快就会过时,被人们遗忘,很少甚至是不再来查看,看起来删除掉这些几乎已经失去意义了的照片会比较能节省存储空间,但用户协议中有明确规定,即使人们不再查看这些照片,facebook也不能把它们删除。由此引发了facebook的一个构想,即对这些照片进行“冷存储”。

  为了完成这一构想,Facebook计划建设一个新型数据中心,在其中采用相对现有数据中心能耗更少、成本更低的存储方式、服务器和网络设备——同时还要保证服务器的响应速度。

  但Facebook能让冷存储的效率达到何种程度呢?在降低数据中心成本和能耗的同时,存储读取速度往往也会受到影响。


  以磁带存储方式为例,它能降低能耗,但却会严重影响数据读取速度。

  亚马逊网络服务系统(Amazon Web Services, AWS)的Glacier云存储服务走了一条中间路线,他们称之为磁带之外的新选择。这一服务专门针对那些无需经常读取的数据进行了优化,前提是可以接受数小时的检索时间。

  而这个时间对Facebook而言显然太长了。总不能在用户想要查看多年前上传的照片时,告诉他们需要再等数个小时才能打开吧?对老照片的读取依然必须满足近似即时的响应速度。facebook工程师称。

  更低的能耗

  现在使用中的数据中心往往都针对那些需要大量计算能力同时能耗很大的任务进行优化的。Facebook计划中的冷存储则走向了另外一个极端,这需要非常非常大的存储空间,但却并不需要那么大的计算能力,数据中心各个方面的问题也都需要重新考量,以保证能应对Facebook目前所面对的庞大数据规模。

  总体而言,Facebook正在研发能够在内容创作时间较久之后,自动判断在数据中心的什么位置以何种方式储存该内容的软件。这意味着随着时间的推移,数据会在数据中心当中不断移动,以更好地利用为久远数据而优化的存储设施的各个部分。软件层面的一些创新能够保证Facebook在以低能耗储存数据的同时实现较快的响应速度。

  在未来一两年里,冷存储将成为Facebook基础设施的一部分。Facebook计划通过开放计算项目(Open Compute Project)来公开并分享冷存储项目中与之相关的内容。开放计算项目由Facebook于2011年4月发起,旨在把开源软件协作模式应用到数据中心硬件领域。

机房360微信公众号订阅
扫一扫,订阅更多数据中心资讯

本文地址:http://www.jifang360.com/news/20121022/n300941300.html 网友评论: 阅读次数:
版权声明:凡本站原创文章,未经授权,禁止转载,否则追究法律责任。
转载声明:凡注明来源的文章其内容和图片均为网上转载,非商业用途,如有侵权请告知,会删除。
相关评论
正在加载评论列表...
评论表单加载中...
  • 我要分享
推荐图片