以“技术融合 应用创新”为主题的第八届中国云计算大会近日在京召开，连续三天的大会，主办方邀请了众多云计算、大数据领域的大咖进行了前沿的技术分享。华云数据CTO郑军博士就是其中一位，他的分享以“云端自动化”为切入点，揭开了十年来，云计算从简单应用到复杂云化数据中心构建的全过程，并着重叙述了如何实现服务和技术统一协作的变革历程。

　　▲华云数据CTO郑军博士

　　　　企业应用云计算的最大挑战在于自动化

　　回顾历史，在云计算之前，大规模分布式系统与计算是网格计算和集群计算，传统与云计算最重要的区别应该在于自动化和自服务。

　　“目前为止，应用云的企业，尤其当面对复杂的系统应用时，能做到按需分配和自服务的往往并不多。”郑军表示。“不管是作为一项服务发布给用户，还是作为其它服务的底层平台系统，作为一个云服务提供商，能否提供自动化尤为重要，自动化的资源管理、自动化的服务提供、自动化的服务创建和生命周期管理等等。”

　　他认为，自动化才是企业应用云计算的最大挑战，因为自动化与否关系到云计算使用的难易程度，关系到云计算的可用性，甚至关系到服务性能。

　　　　云端自动化发展的两个维度

　　郑军认为，云计算的核心之一，就是大型分布式系统的资源管理。具体来说，可以从资源管理的两个维度入手，观察云端自动化是如何被推动和发展的。

　　一方面是虚拟化的发展。从2008年虚拟化走热到2013年Docker的出现，轻量级Linux容器实现了对X86服务器资源更细粒度的划分，为资源管理提供了更细颗粒度的调度单元。第二是软件定义的发展。从软件定义网络(SDN)发展到今天，很大程度上软件定义实现了资源调度对象的拓展和延伸。同时，软件定义也打破了硬件和软件的隔阂，能够快速为用户创建无缝服务。“从另外一个角度，这提供了基础，使得未来IaaS和PaaS的界限越来越模糊，二者越来越统一。”郑军表示。

　　　　开源与云计算的发展相辅相成

　　“可以说开源软件的发展直接推动了云的发展，没有开源软件就没有云，就没有工业界今天的发展。”郑军表示。

　　未来的服务将由更大型的云数据中心提供，大型云数据中心内部是成千上万的物理服务器和更趋向透明化简单化的硬件处理单元组成。如何在这样的前提下，为一个或复杂或简单的任务，云平台在后台调度聚合成千上万的子任务来协同计算和处理，这是非常有挑战性。同时，当部署多层的分布式系统的时候，如何做到跨层全局统一的管理也仍存在诸多挑战。

　　举例来说，如果部署一个Spark大数据系统，很多用户会选择OpenStack作为最底层架构，Spark通过Mesos、YARN来管理资源，如果再基于Docker进行spark部署，那么这三层资源的调度和综合管理就是很大的问题。“工业界还没有一个很好的答案。华云数据在这方面也正在进行实践，设计通用的资源管理系统，对接Spark大数据系统和云平台。”

　　同时郑军也谈到，SDN和NFV近年来的发展也是如日中天，但是在自动化的资源管理方面，SDN和NFV跟Openstack结合，现在没有标准的答案。

　　那么当企业搭建一个大数据系统时，应该怎么做?这是很多企业都在面临解决的痛点问题。我们知道，搭建一个真正的生产大数据系统时，所有的逻辑和操作流程大约20个左右，甚至更复杂。部署大数据系统，尤其在云上进行部署时将面临很大的问题。

　　华云数据的实践理念是“事件驱动”。首先通过资源调度，即通过SDN和NFV将底层软硬件打通。需要一个X86的集群，也需要不同的软件组件。目前华云数据已经做到了“事件驱动”，在华云私有云平台上封装了大数据系统的支撑模块。另外一个维度与服务相关，包括服务聚合和数据自动分析。华云数据正在进行基于此的研发和创新，沿着自助机器学习的方向往前走。

　　　　云计算发展的三重趋势

　　在分享的最后，郑军谈了他对云未来发展的三个观点。

　　一是云的加减法，也就是对于用户而言，云变得越来越简单、越来越透明;而对于华云数据这样的云服务提供商来说，需要在纷繁复杂的软硬件资源上提供无缝的聚合服务。第二是云需要更细颗粒度的调度资源和管理机制，实现更广意义的异构资源管理。这可以通过扩展软件定义和Docker等平台系统来实现。第三是IaaS和PaaS走向融合统一，界限越来越模糊。更多的用户将会融合度更高的全栈解决方案。