机房360首页
当前位置:首页 » 技术解构 » Hadoop虚拟化的性能对比和调优经验

Hadoop虚拟化的性能对比和调优经验

来源:机房360 作者:艾达 更新时间:2013-11-10 8:28:13

摘要:虚拟化为Hadoop注入了前所未有的活力,从IT生产管理的角度,表现为以下几点:

  (5)Hadoop配置: BDE将会自动产生并配置hadoop配置文件(主要在map- site.xml,core-site.xml,和 hdfs-site.xml内),包括块大小(blocksize),会话管理和日志功能。但是有一些相关于MapReduce任务的参数,包括 mapred.reduce.parallel.copies,io.sort.mb,io.sort.factor,io.sort.record.percent, 和tasktracker.http.thread,需要根据不同负载具体设置。

  (6)扩展建议:如果用户观察集群中CPU的利用率经常超过80%,建议加入新的节点。另外单个存贮节点的容量不建议超过24TB,否则一旦节点失败,数据备份拷贝容易造成数据拥塞。扩展可以按照小规模集群上运行性能基准经验和资源使用情况进行。

 

         责任编辑:Adah

本文地址:http://www.jifang360.com/news/20131110/n470753926.html 网友评论: 阅读次数:
版权声明:凡本站原创文章,未经授权,禁止转载,否则追究法律责任。
相关评论
正在加载评论列表...
评论表单加载中...
  • 我要分享
更多
推荐图片