机房360首页
当前位置:首页 » 云计算平台 » 中国航信大数据云平台的思考与实践

中国航信大数据云平台的思考与实践

来源:机房360 作者:Mary编辑 更新时间:2012/4/17 13:31:41

摘要:4月17日,2012第四届CCS云计算峰会论坛暨展览在北京召开,云计算基础架构专场上中国民航信息集团公司总经理李巍伟以最终用户的角度阐述了中国航信在私有云和大数据这条道路的历程,分享一下中国航信对于私有云和大数据的思考与实践,以下是演讲实录:


随着数据中心的快速发展,因为我们当时,应该说是现在,现在一共有三个数据中心,一个在美术馆,一个在三里屯,另外一个在亦庄,这三个数据中心,基本上都在市区核心地带,他的电力资源,和他的空间资源是非常非常有限的。随着我们把主机的核心功能开始向开放系统迁移的过程当中,我们的设备也开始以急速的方式增长,那个时候我们发现我们第一个首先不够的资源是电力,我们电力一下提供不了那么多的电力以后,我们开始对我们的业务和服务器进行梳理,我们发现我们服务器很多CPU和内存的使用率都非常小,而我说的这个服务器其实大部分现在指的是UNIX的服务器。信息之间是无法共享的,他们本身的数据都是存在孤岛而这些孤岛给我们的数据统一备份和管理带来了很多的困难,监控起来也非常复杂。
06年的时候我们接触到虚拟化技术,虚拟化技术当中确实没有太多的选择,我们把他们整合起来,提高应用的使用率,以缓解机房和电力上的使用不足。08年的时候我们开始决定做第三个机房,在此基础上,我们08年开始向X86和虚拟化这个平台当中进行迁移,这块我可以说几点,整个迁移过程,涉及到了将近六十个业务,而这些业务耗费了我们大约将近一年总的时间才把这些完全迁移到虚拟化平台当中,但是我们所说的虚拟化的数据中心,不仅包括了虚拟机,而且也包括了很多X86的物理实体机,在整个迁移过程当中,并不是所有服务,或者并不是所有的应用都很适合于搞虚拟化的。为什么这么说呢?首先其实我们这个架构相当来说是比较传统的,首先他主要是三层架构,这三层架构其实包括了应用层,包括了数据库层,也包括了Web,百分之百的Web层我们都实现了虚拟化。另外应用系统,70-80%是可以做迁移的,另外的20-30%,也只能跑到X86,其实他并不太适合虚拟化,我们有很多的业务,可能你会发现通过很多第三方的工具,从原有的服务器迁移到虚拟环境当中,但是在迁移完了以后,运行一周到两周的时间,这时候业务部门的一些同事,包括开发的同事就会抱怨说,我不知道你之前在什么平台上运行的,但是我现在感觉这个平台运行的非常慢,所以在这种情况下,我们可以和开发者,包括业务部门,使用者进行沟通,对于整个的虚拟化参数,包括架构进行优化,有的就优化成了,有的还是不行,所以我们大部分的,就是优化成了继续留在虚拟中心当中,优化不成的我们只能用X86承载他的业务。整个数据库现在为止,航信90%的数据库是没有跑在虚拟化的平台当中,我们现在有20%的数据库是跑在了X86的服务器上。目前我们也是按部就班,按照我们的计划尽量做低成本的解决方案,所以我们的数据库开始向X86迁移,70%以上的的数据还是跑在UNIX上的。相信未来可能随着虚拟化技术不断提升,可能我们有希望能够将这些资源迁移到虚拟化平台。
迁移完了以后我们得到了非常好的效果,当然这个数据是之前的数据了,但是他的效果基本上一样的,就是我们整个空间节省超过了95%,电力资源节省了95%,也就是说从08年当时我们决定要租这个第三方的数据中心以后,经过一年的时间,我们迁移到虚拟化平台,有了虚拟化平台带给我们的这些效果,所以我们真正第三方机房租用是从2011年开始的,给我们提供整个机房迁移的一个必要缓转的时间,我们目前整个服务器达到1:2,CPU使用率超过了30%,内存的使用率超过了60%,为什么这块是30和60的比例,当时我们买X86服务器的时候,当时的配比,当时内存和CPU的内比应该是1:2,或者1:4,后来我们发现大部分的使用消耗的内存更多,所以说建议大家如果真的要做虚拟化平台,还是首先要收集一下自己应用的一些数据,这种内存比目前是1:4和1:8,从我们现在在卖机器的角度来谈。
另外一个就是系统部署的周期是0.5个工作日,原来是将近一周的时间,后来业务部门开发人员也会向我们提,你们这个效率是不是可以提高一些,因为原来我们要满足随需应变的客户,航空公司,包括我们核心客户的需求。后来我们的部署周期变成了0.5个工作日,存储数据,包括管理也实现了集中,所以管理和备份也从而实现了。
这是中国航信当时制定的云计算发展蓝图,一共是三步走,我们可以看到08年之前,如果你管他叫1.0,2.0的话,我之前还有一个0.5就是我们的技术储备,对于我们后期在做虚拟化整个过程当中是非常非常有利的。
我们的第一步,可以看到虚拟化的构建,刚才我可能也谈过了,整个我的每一步其实都是有一个驱动力,虚拟化池化的构建是源于我们的需求驱动力,也就是我们机房和电力不足,包括管理效率的提升为目的所以这是当时的需求驱动,我们有了第一步的时候,我们可能买了将近25台四路服务器,将近400到400的应用,大家发现整个平台的效果越来越好,所以近两年设备的登帐是非常非常快的,增长快了带来了另外一个问题,就是管理问题,尤其是对于这个配置的管理,因为航信管理流程有一个核心部分就是3NDB的管理,05、06年都是静态数据,后来到了08年的时候,自己也做了一些开发,将配置管理作为自动化的发现,后来发现上虚拟化以后,这种配置的变更就异常的活跃,所以这个配置变更也给我们带来了很多很多的挑战,所以有了像这类的挑战,包括自助式交付挑战以后,从09年上半年直到现在,我们一直在做整个平台优化和完善的工作。

本文地址:http://www.jifang360.com/news/2012417/n631635520.html 网友评论: 阅读次数:
版权声明:凡本站原创文章,未经授权,禁止转载,否则追究法律责任。
相关评论
正在加载评论列表...
评论表单加载中...
  • 我要分享
推荐图片