事实上，大数据已经成为全球云计算服务商的标配。在这方面，中国的能力毫不逊色于欧美等IT强国。Sort Benchmark排序竞赛被认为是大数据界的奥运会，国内云计算服务商阿里云在一个月前用不到7分钟(377秒)就完成了100TB的数据排序，打破了Apache Spark的纪录23.4分钟。

　　以下是演讲全文，有删减：

　　我们说数据在爆炸，到2020年将有非常多的设备在线，每年新增数据类型会达到10%。只有大数据平台、大数据应用做的更快，更实时，更易用，才能够真正改变业务。

　　所以今天分享的第一个技术，是Data Lake(数据湖泊)，这不是一个新的概念，2011年福布斯上的一篇文章(注：《大数据需要一个大的新型架构》)提出来这个概念。

　　做数仓的时候，第一个问题是给数据建模，数据要建模摆放才能把数据引进来。但我怎么建模呢?我不知道问题是什么，我也不知道怎么解决，所以很多建模用户到最后会陷入一个尴尬的境地，我做了很多东西，到最后好像越做越大，把所有需求都满足才行，而别人要改我的数仓也很麻烦。

　　Data Lake是什么概念呢?就是数据能不能不处理，也不建模，就是把数据扔进来了，谁要用谁建模，怎么用根据你自己的需求来建，所以这个概念很吸引人。这样一看好象民主化了，没有中心的数据，但我加了一个句“让湖水动起来”。这个概念在去年是很火的，15年的时候大家仍然没有解决。概念很简单，但很容易做错，做错了之后就不是一个湖了，是一个沼泽，沼泽地，一片泥浆，根本没有办法用。

　　第二个技术，是一个很老的问题，实时问题。今年我认为大家最聚焦的是基于场景的大数据，就是斯时、斯地、斯人，实时概念非常重要。这个实时的东西解决了没有呢?其实也没有解决。

　　我举一个例子，如果用可穿戴设备和社区医院、三甲医院打通，这样心脏不好的时候可以做实时的监测。这样问题也来了，你走到一个信号不好的地方，这个时候要不要做实时?实际上是场景化的事情，实时的场景一定是更复杂的。

　　第三个是分析工具。今天一如既往的更加强调三个字，存、通、用。首先要有作用，最后形成业务，但是更多的分析工具把存储这个事情管理的越来越好，不同数据之间的打通也做的非常好。

　　具体讲几个，首先是可视化。分析工具发展了这么多年，今年每隔一段时间都会有一个大公司跳出来，发布最新的功能，所以大家还是一直在往前走，但现在的分析工具还是远远不够用。

　　比如嵌入，什么叫嵌入呢?我把数据收到数据中心，然后我再进行分析数据。但是我们现在说了，数据无处不在，为什么分析不无处不在呢?能不能在收集的时候已经做了很多处理了。

　　第四个是预测。根据过去的表现预测下面发生了什么。预测在很多传统行业都已经在用了，像搜索电商、广告视频、用户管理等等方面做了大量的预测，但是在传统行业里面，预测的应用场景会更多。

　　比如交通，你用着导航软件，它说前面堵了，但实际上是现在堵，等你过去的时候就不堵了。再比如设备，我买了一个锅炉，说能十年，十年到了我要不要换一个新的?但如果我把传感器放上去，你可以预测一下可以活多久。

　　第五个是智能时代，认知的计算。这个题目比较大，大家看到这个楼里面有很多小机器人，这个小机器人有没有智能?这个大家可以判断。为什么大家一直很热门的研究智能呢?它实际上是一个行业的推手。通过对大数据处理能力、实施能力，包括算法的研发等等对整个产业链都有很大的推动，所以每个大一点的公司都在研究人工智能，这个东西是未来。

　　第六个是数据架构师的兴起。互联网公司开始进入企业市场，“互联网+”是今年大家都明白的一个词，就是要把互联网思维、方式、工具引入企业，最适合做互联网+的往往是互联网公司，只有少数互联网公司，像阿里有超过4千个数据工程师和数据科学家，每天梳理的数据量超过很多公司一年的量，在这种体量下做出来的平台是值得学习的。未来几年有一个新的职业可能会火起来，就像前几年数据科学家这个词，也就是数据架构师。

　　第七个是数据国际化，要解决的问题是数据国界的问题。阿里云、AWS把业务做到全世界都是，那数据有没有国界呢?有，有些国家规定数据先不能离开国界。这个问题要解决，有很多技术问题，但已不仅仅是技术问题。

　　第八个是云计算、大数据的深度融合。在很多场景下需要云计算的弹性，做一款大数据的产品必然要有弹性，这个必须要融合。

　　从另一个方面来看，云平台之间的竞争白热化，因为最后大家拼的是资源，调度能力，这个很容易引起同质化的竞争，因为定价大家都可以比较。但不同云平台数据能力是非常差异化的， 所以这个是各个平台的必争之地，大家都在拼这方面的能力。

　　云数据、大计算，这个提法很有意思，大数据是什么?如果数据还是孤岛的话，数据量再多也不是大数据。所以真正理想的情况，不管数据在哪儿，数据一定要融合。所以云数据、大计算才能真正的王道。

　　第九个是大数据生态。数据生态实际上是一个很复杂的过程，大数据平台可以促进很多行业生态的形成。

　　比如，心脏病监控救护，涉及了设备生产商、120、各级医院，还有心脏病研发中心，围绕着这些数据和平台可以做成一个生态。在这个过程当中，大数据起到的是生态平台的作用。与此同时，这个生态一定要垂直化到各个领域。什么意思呢?原来各行各业都有自己垂直行业的ISV，比如有些人就是专门给银行做方案，他对银行非常熟悉，但他有可能用的不是大数据的产品，用的是传统数据库的产品，但是今年这些ISV非常积极的来拥抱大数据，我们可以看到，如果这些ISV活起来的话，垂直领域的ISV的生态就起来了。所以整个生态，我认为包括平台、生产开发、服务流通全部环节加起来。

　　最后一个，安全、安全、安全。如果没有数据安全的话，大家不要谈大数据，没有一个人把数据拿在一个不安全的环境上来用。所以今天一个概念，就是数据可用不可见，如果A和B合作一个项目，A是银行，B是保险公司，如果A能看到B的数据，这种交换其实是很危险的，因为不管怎么保护，它可以用不同的方式，拿照相机拍照的方式也可以把你的数据存下来，所以一定不能让数据离开，一定要可用不可见。

　　什么叫可用不可见?我在云里面建一个虚拟的黑屋子，大家把数据放上去，可以在一起用，做一些事情，事情可以做，但是你看不到数据是什么。这些技术，今天大家可以看到很多阿里云做的创新创业项目，都是用这个模式做的。

　　谢谢大家，今天就分享到这里。

　　责任编辑：余芯