机房360首页
当前位置:首页 » 云计算资讯 » 当云计算遇见大数据

当云计算遇见大数据

来源:机房360 作者:三水编辑 更新时间:2012-5-10 14:19:38

摘要:云计算为什么能盛行呢?在互联网领域应用系统的构建:客户群体是不确定的、系统规模不确定、系统投资不固定、业务应用有很清晰的并行分割特征、数据仓库系统的构建、数据仓库规模可估算、数据仓库的系统投资与业务分析的价值和回报相关、商业智能应用属于整体应用、Saas模式构建数据仓库系统。

  在大数据技术上用云计算构建下一代数据仓库成为热门话题,这当中包括大数据管理,分布式进行文件系统,如Hadoop、Mapreduce数据分割与访问执行;同时SQL支持,以HiveHADOOP为代表的SQL界面支持。从系统需求来看,大数据的架构对系统提出了新的挑战:
  
  1、集成度更高:这意味着一个标准机箱最大限度完成特定任务,华硕不久推出的一款高密度机架式服务器RS720,2U高度最大能采用支持4个双路计算节点,实现单机8个英特尔5600系列处理器和高达总计768G内存资源。
  
  2、配置更合理、速度更快:存储、控制器、I/O通道、内存、CPU、网络均衡设计,针对数据仓库访问最优设计,比传统类似平台高出一个数量级以上,这方面的经典案例是数据仓库头号厂商Teradata,其采用双路Xeon六核处理器的企业级数据仓库5650可轻松为数千名用户处理更复杂、更大量的工作负载、持续负载以及批负载、操作性查询、简单报表和复杂的分析,所有功能均在同一个平台上运行。与上一代产品相比,动态企业级数据仓库5650的性能提高了43%,占地面积保持不变,减少了能源消耗和空间需求。
  
  3、整体能耗更低:同等计算任务,能耗最低。
  
  4、系统更加稳定可靠:能够消除各种单点故障环节,统一一个部件、器件的品质和标准。
  
  5、管理维护费用低:数据藏的常规管理全部集成。
  
  6、可规划和预见的系统扩容、升级路线图。
  
  云计算环境作为大数据处理平台
  
  1.云计算环境中基本计算单元的分化
  
  企业云计算平台上虽然有多个并行计算的CPU,但并没有创造出具有超强数据处理能力的超级CPU,因此云计算平台需要的是有并行运算能力的软件系统。同时,当所有用户的数据全部放在云端时,虽然存储容量可以很方便地扩充,但面对大量用户同时发起的海量数据处理请求,简单的数据处理逻辑已经无法满足需要。
  
  可以看到,国内有相当多的电商企业,用小型机和Oracle扛了好几年,并请了全国最牛的Oracle的专家不停优化他的Oracle和小型机,初期发展可能很快,但是后来由于数据量激增,业务开始受到严重影响,最典型的例子无疑是京东商城前段时间发生的大规模访问请求宕机事件,因此他们开始逐渐放弃了Oracle或者MS-SQL,并逐渐转向MySQLX86的分布式架构。
  
  目前的基本计算单元常常是普通的X86服务器,它们组成了一个大的云,而未来的云计算单元里有可能有存储单元、计算单元、协调单元,总体的效率会更高。
  
  2、对系统稳定性的需求
  
  在应对大规模访问的时候有一些系统稳定性的追求,来自很多方面,来自网络稳定性、数据库稳定性。对系统而言,需要把握一个大原则,需要消除任何单点故障。不光是网络上单点故障,还有来自你呼叫中心里的单点故障,只要有单点故障一定要消除掉。因为对于电商行业而言,每一秒都是钱,电子商务业务如果宕机一个小时,损失多少是可以算出来的,电商行业需要非常全面的技术系统监控报警系统。有时候你会发现你如果通过技术系统的监控去推导出你的技术发生问题已经晚了。
  
  责任编辑:三水

本文地址:http://www.jifang360.com/news/2012510/n709836218.html 网友评论: 阅读次数:
版权声明:凡本站原创文章,未经授权,禁止转载,否则追究法律责任。
相关评论
正在加载评论列表...
评论表单加载中...
  • 我要分享
更多
推荐图片