机房360首页
当前位置:首页 » 技术解构 » 微型服务器助力Hadoop分布式计算

微型服务器助力Hadoop分布式计算

来源:比特网 作者:linux编辑 更新时间:2011-6-15 13:54:44

摘要:Calxeda公司CEO Barry Evans则通过邮件解释说大数据与微型服务器之间并不是不可调和的,“对于大数据来说,ARM架构服务器将是非常适合的,这有三个原因。首先,大数据的处理本身就具有向外扩展的特性,需要众多高效处理器来进行处理。其次,大数据处理作为一个新兴的市场划分,其所要面对的历史遗留问题很少。

  专门提供网上约会服务的eHarmony公司采购了一批采用IntelAtom处理器的SeaMicro服务器来运行他们的Hadoop结构分布式计算服务,很多人认为这一行为无异于自杀。SeaMicro公司和Calxeda公司开发的服务器采用的Atom处理器能够有效的降低精简成本并节省能源;不过行业普遍认为,在这些服务器大行其道之前,如何满足应用程序和大客户的需要是这些产品需要首先解决的问题。而对于大数据处理来说,类似Atom这样的处理器则需要将这两个问题一起解决,不过令人兴奋的是,他做的很好。最后,目前针对这一领域的软件对ARM架构的支持程度很好。”虽然Calxeda公司所生产的ARM架构微型服务器在处理器结构上与SeaMicro公司的X86架构微型服务器存在很大不同,但Evans所总结的前两个优势同样适用于SeaMicro的X86架构产品。
  
  Hadoop作为一种分布式计算结构,对于很多公司和组织来讲都是一个全新的领域,而他们大多没有专门应对这一应用的硬件。分布式计算需要众多的外扩展结构来提升整个系统的并行处理能力。而对于分布式计算的每个节点,Hadoop并不要求其性能能够与高功耗、高性能的专用处理器相媲美,相反,其对性能的要求是非常低的。而微型服务器则能够凭借众多的物力核心和相对较小的体积来很好的满足Hadoop计算的需求。
  
  SeaMicro的微型服务器可以在10U机架的体积内提供512个IntelAtom核心并产生1.28TB/s的计算能力,而相对于传统服务器来说,其能耗却降低了75%。而Calxeda公司的微型服务器产品则可以在2U的体积内提供120个4核心ARM CortexA9架构处理器,而每个处理器节点的功耗只有5瓦。而知名记者Stacey Higginbotham在谈论
  
  Evans的理论和eHarmony公司的实例都证明,微型服务器对于Hadoop这种大数据计算来说却是非常合适。而在使用微型服务器之前,eHarmony公司也曾使用云服务来满足其需要,不过他们发现,当他们进行大量并行计算并与云服务其交换大量数据时,这一方法就会变得非常昂贵。而作为一家之前没有任何服务器硬件投资的公司来说,eHarmony公司可以很轻易的转投至微型服务器架构中。而Data Center Knowledge的RichMiller也表示“微型服务器可以为CTO每月减少数万美元的运营费用,使成本降低74%。”
  
  由于在eHarmony案例上的成功,我们可能很快就会看到像SeaMicro和Calxeda这样的公司与Cloudera(最大的分布式计算软件提供商)达成OEM协议。当然,随着微型服务器在这一领域的迎头赶上,我们也很有可能看到软硬件一体化解决方案的提供商。
  
  责任编辑:linux

本文地址:http://www.jifang360.com/news/2011615/n343422903.html 网友评论: 阅读次数:
版权声明:凡本站原创文章,未经授权,禁止转载,否则追究法律责任。
相关评论
正在加载评论列表...
评论表单加载中...
  • 我要分享
更多
推荐图片