摘要: 在传统企业正在积极拥抱“互联网+”,寻求IT转型之道的背景下,本文以太平洋保险DCOS成功迎战今年“春节全民抢红包”的实践为例,详细介绍了DCOS的核心技术以及这次实践效果,从而表明DCOS凭借其数据中心轻量级弹性伸缩能力为传统IT的敏捷转型提供了新机遇。 |
云计算驱动企业IT架构演进
随着云计算的快速普及,传统企业越来越关注基于云计算的下一代IT架构变革了。回顾企业IT架构演进历史,主要经历了“传统孤岛”、“x86+虚拟化”和“云化”这三个阶段。
最初的“传统孤岛”,软硬件堆栈各层间缺少统一的工业标准化,呈现出内聚与耦合的特征。随后的x86标准化带来计算、存储、网络、操作系统、中间件、应用层等多层次水平分工架构,为了提升IT灵活性和资源利用率,虚拟化开始在数据中心部署,IaaS实现了虚拟机级弹性伸缩,但IT基础设施扩张很快,系统层层堆叠,各层间集成交付的难度越来越大,同时,仅虚拟化也难以满足不断增加的业务对资源的变化需求。
于是企业开始期望将服务作为IT核心,提升业务敏捷性,同时大幅降低TCO,这时PaaS和应用资源池化实现了集群级弹性伸缩,很大程度上缓解了IT资源与业务发展之间的矛盾,让企业更专注于上层业务逻辑的运营。如果说IaaS属于云化的“初级”阶段,PaaS和应用资源池化就是云化的“进阶”阶段。而今天故事的主角DCOS实现了数据中心级弹性伸缩,使它称得上“深度”云化的发动机了。
回顾:DCOS是什么?
数据中心操作系统(Data Center Operating System,简称DCOS)是为整个数据中心提供分布式调度与协调功能,实现数据中心级弹性伸缩能力的软件堆栈,它将所有数据中心的资源当做一台大型计算机来调度,可以视作这个大型主机的操作系统。下表给出了Linux OS与DCOS(以基于Mesos为例)的类比:
太平洋保险DCOS平台关键技术选型
在今年春节期间,太平洋保险联合上海天玑数据,采用DCOS平台改造微信应用系统来支撑推出的“除夕夜摇红包”、“初五迎财神”等系列活动。活动期间DCOS轻松支撑高达每秒10万笔交易的业务高峰,仅除夕当夜微信增粉量就超过1300万。
这次太平洋保险进行综合评估技术选型后,最终选择了基于Mesos + Docker搭建DCOS平台。功能框架如下:以Docker为基础封装各类应用和运行环境,以Mesos、Marathon为核心实现容器资源的分布式调度与协调,以HAProxy、Etcd为辅助实现服务注册引流。
1. 应用封装:Docker
Docker为开源的应用容器引擎,在标准的LXC之上融合AUFS分层镜像管理机制,抛弃传统虚拟机试图模拟完整机器的思路,而是以应用为单元进行“集装封箱”,是轻量级的虚拟化技术。
lDocker Engine可以自动化部署应用到可移植的的容器中,这些容器独立于硬件、语言、框架、打包系统。一个标准的Docker容器包含一个软件组件及其所有的依赖,包括二进制文件,库,配置文件,脚本等,实现持续集成与部署,快速迭代应用程序。
lDocker容器可以封装任何有效负载,几乎可以在任何服务器之间进行一致性运行。开发者构建的应用只需一次构建即可多平台运行。运营人员只需配置他们的服务,即可运行所有应用。
2. 资源调度: Mesos
Mesos是为构建和运行其他分布式系统提供服务的分布式系统。它将CPU、内存、存储介质以及其它计算机资源从物理机或者虚拟机中抽象出来,构建支持容错和弹性的分布式系统,并提供高效的运行能力。
Mesos以Framework(框架)的形式,提供了“两级调度机制”,将任务的调度和执行分离。
lMesos Master负责将资源分配给各个框架,而各个框架的Scheduler进一步将资源分配给其内部的各个应用程序。
lMesos能和不同类型的Framework或Application通信,每种Framework或Application由相应的应用集群管理。
lMesos Slave的Executor具备调用Docker能力,当 Executor接收到Task时启动Docker,其可以调用Docker去启动一个容器。
3. 任务调度: Marathon
Marathon是基于Mesos来做任务调度,Mesos仅负责分布式集群资源分配,不负责任务调度。
Mesos集群可以混合运行来自Marathon的不同类型的任务。
Marathon基于Mesos的任务调度为动态调度,即每个任务在执行之前是不知道将在哪一台服务器上执行和绑定哪一个端口。