机房360首页
当前位置:首页 » 技术解构 » Hadoop虚拟化的性能对比和调优经验

Hadoop虚拟化的性能对比和调优经验

来源:机房360 作者:艾达 更新时间:2013-11-10 8:28:13

摘要:虚拟化为Hadoop注入了前所未有的活力,从IT生产管理的角度,表现为以下几点:

 ·Hadoop和其他消耗不同类型资源的应用一起部署共享数据中心可以提高总体资源利用率;

  ·灵活的虚拟机操作使得用户可以动态的根据数据中心资源创建、扩展自己的Hadoop集群,也可以缩小当前集群、释放资源支持其他应用如果需要;

  ·通过与虚拟化架构提供的HA、FT集成,避免了传统Hadoop集群中的单点失败,再加之Hadoop本身的数据可靠性,为企业大数据应用提供了可靠保证。

  基于这些原因,vSphere Big Data Extensions(BDE)为用户在虚拟化环境中灵活的部署和管理Hadoop集群提供了有效的支持。除却这些优势,虚拟化是否会伤害Hadoop运 行的性能呢?为此,我们在同等规模上做了虚拟化部署和物理部署的Hadoop集群的性能对比和优化,实验表明虚拟化Hadoop集群可以很好地支持生产环 境。

  虚拟化环境和物理环境的性能对比

  图1显示了性能调优试验的部署样式,一台物理服务器上只部署一台虚拟机,Tasktracker和Datanode一起跑在同一个节点中。因为每个 虚拟节点可以使用全部的服务器资源,方便进行虚拟化和传统物理环境部署的Hadoop做性能对比和分析。试验结果在图2中显示,虚拟化Hadoop相对于 物理环境的性能对比几乎是持平的。

  

   

本文地址:http://www.jifang360.com/news/20131110/n470753926.html 网友评论: 阅读次数:
版权声明:凡本站原创文章,未经授权,禁止转载,否则追究法律责任。
相关评论
正在加载评论列表...
评论表单加载中...
  • 我要分享
更多
推荐图片