身为数据极客，在2017年应该能感觉很幸福。

　　去年，我们曾经问过大家“大数据还是个值得关注的大事吗?”，并注意到由于大数据更像是一种“系统化工程”，因此在企业的接受速度方面要落后于整个业界的炒作。大数据技术用了多年时间进行演化，才从一种看起来很酷的新技术变成企业在生产环境中实际部署的核心企业级系统。

　　2017年，我们已经很适应这样的部署阶段。“大数据”这个词正在逐渐淡出我们的视野，但这种技术本身还在飞速扩张。各行各业的各种轶事和证据证明相关产品越来越成熟，在越来越多的财富1000强企业内开始投入实用，很多初创公司借助这些技术快速实现了收入增长。

　　与此同时，宣传炒作的泡沫开始毋庸置疑地转向了这个生态系统中机器学习和人工智能等领域。过去几个月来，人工智能领域涌现出一种“大爆炸”式的集体意识，这一情况与几年前大数据技术的“遭遇”相差无几，不过发展速度更快。

　　从另一个角度来看，2017年也是激动人心的一年：望穿秋水的IPO。今年头几个月，大数据领域的初创公司在这方面活动频频，并得到了公开市场的热切欢迎。

　　总的来说，数据生态系统在2017年终于实现了火力全开。与以往每年一样，我们将通过一年一次的大数据领域回顾为大家提供一个详细的“国情咨文”，将我们针对这一行业的见解总结为关键趋势奉献给大家。

　　上层趋势大数据+人工智能=全新技术栈

　　任何风险投资机构有幸看到的各种宣传都能证明，2016年，每家初创公司都在变身成为“机器学习公司”，“。ai”已成为必备的域名，而“等等，我们会通过机器学习技术解决这个问题”已经开始普遍出现在各类集资活动的演示文稿中。

　　围绕人工智能的报道、座谈会、新闻邮件，以及微博层出不穷，很多早已在关注机器学习技术的人，他们的反应就好像发现自己当地的某个品牌突然开始了全球化扩张：一方面，倍感骄傲;但另一方面，就好像面对派对上姗姗来迟又装腔作势的人那样表现出明显的厌烦之情，同时做好了不可避免会感到失望的心理准备。

　　虽然很容易认为这些趋势的发展非常和缓，但该领域所经历的演变是不可避免，并且影响深远的：机器学习正在快速成为很多应用程序中最重要的组件。

　　我们正在见证一个新技术栈的涌现，在这个技术栈中，大数据技术被用于处理数据工程方面的核心挑战，而机器学习技术被用于从数据中提取出价值(以分析见解或操作等形式)。

　　换句话说：大数据提供了渠道，人工智能提供了我们需要的智能。

　　当然，这种共生关系并不是什么新事物，但只有少数人有幸能够真正实现。

　　这些技术正在真正开始变的“民主化”。“大数据+人工智能”已经成为很多现代化应用(无论面向普通消费者或企业的应用)的默认技术栈。大量初创公司和一些财富1000强企业都在使用这种新的技术栈。

　　通常来说，云计算是这个“板凳”的第三条腿，但也并非总是如此。这一领域的发展也受到各大云计算巨头的推动，这些巨头们正在举行一场公开的战争，争先恐后地开始提供机器学习云。

　　短期来看，是否可以认为民主化会促进人工智能技术的商品化?实际上从技术角度来说，人工智能依然很难。虽然很多工程师正在争先恐后地培养有关人工智能技术的技能，但至少到目前，全球范围内深入钻研这一领域的专家依然很少。

　　不过这种民主化的趋势至少不会“开倒车”，机器学习技术迟早会从竞争优势“进化”成为一必备要素。

　　而这种趋势对初创公司和大企业都产生了深远的影响。对于初创公司：除非你所开发的人工智能软件是最终产品，那么将你自己称呼为一家“机器学习公司”这样的做法很快将变的毫无意义。对于大型企业：如果目前你还没有积极主动地制定“大数据+人工智能”的战略(自行实现或与其他供应商合作)，那么你们很快会面临被淘汰的境地。关于大数据，这样的说法已经持续多年了，但随着以大数据技术为基础诞生的人工智能技术飞速发展，这一天只会更快速地到来。

　　企业的预算：逐利

　　过去多年来，在我们与大数据技术的买家和卖家的交谈中，我们发现财富1000强公司中，越来越多的预算被用于对核心基础架构进行升级，以及与数据分析有关的技术，大家都对大数据技术给予极大关注。很多分析机构也认同这一结论：IDC预计，到2020年，大数据和分析市场将从2016年的1300亿美元市场规模增长至2030亿美元。

　　在大数据技术方面，财富1000强公司的很多买家正变的越来越成熟和理智。过去多年来，他们已经进行了充分的研究调研，现在已经准备好全面部署了。不仅技术型行业，目前很多行业均是如此。

　　这种飞速变化的趋势还得到了老技术自然淘汰周期的进一步助推，对于大型企业，通常每隔几年就会这样做一次。曾经逆风飞扬(难以剔除或取代原有基础架构)的大数据技术现在正逐渐变的顺势而飞(“我们需要替换过时的技术，市面上最好的同类技术是啥?”)。

　　当然，很多大企业(“晚期从众者”)依然是大数据领域的“新手”，但这种情况的变化速度变的越来越快了。

　　企业数据正在陆续上云

　　就在几年前，如果你建议企业将数据迁移至公有云，大企业的CIO给你的回应大部分只会是“除非我死了”，当时他们顶多只愿意将开发环境，或各种稀奇古怪，非关键的对外应用程序迁移至云端。

　　但现在他们的看法似乎开始产生变化了，去年以来这种变化非常明显。我们听到了一种更为开放的心态：大家已经逐渐认识到“反正我们的客户数据本来就已经保存在Salesforce的云中”，或者“在网络安全的预算方面，我们的投入与AWS压根儿没得比”，而讽刺的是，过去多年来，对安全的顾虑曾是企业接受云计算的主要障碍之一，但云供应商在安全与合规(HIPAA)等方面的辛苦努力终于得到了证明和回报。

　　毫无疑问，目前离大部分企业数据都保存在公有云中这一目标还有一定距离，但部分原因在于遗留系统和管控制度。

　　然而演变的趋势是明显的，并且越来越快。云供应商会尽一切努力促进这一过程，甚至提供搬运海量数据的卡车。

　　合并工作开始了吗?

　　大数据领域每一年都变的更加热闹，因此这就造成了一个显而易见的问题：这个行业是否迎来了大规模并购的风潮?

　　似乎还没，至少目前还看不出这样的趋势。

　　首先，风投们会继续愉快地注资各家新老公司。2017年头几个月，为成长阶段的大数据初创公司注入巨资的消息此起彼伏：Looker(D轮，8100万美元)、Inside Sales(F轮，5千万美元)、DataRobot(C轮，5400万美元)、Confluent(C轮，5千万美元)、Collibra(C轮，5千万美元)、Uptake(C轮，4千万美元)、WorkFusion(D轮，3500万美元)，以及MapD(B轮，3500万美元)。另外DataBricks非常值得注意，他们在2016年12月刚获得6千万美元的C轮投资。

　　全球范围内，大数据初创公司在2016年得到了风投机构总计148亿美元的投资，其中10%由全球性的技术VC提供。

　　另外需要注意，该领域的相关投资大多是全球性的，欧洲、以色列(如Voyager Labs)、中国(iCarbonX)等地均有大量公司成立并获得注资。

　　其次，2016年全景中曾经提到，并购活动已在有序进行，但没有特别让人印象深刻的，也许部分原因在于私营公司的估值始终居高不下。我们在2016年大数据全景中曾经提到，共有41家公司被并购(完整清单请参阅文末备注)，2017年，并购的节奏大体上会与去年持平。

　　另一方面，2017年至今已经出现了一些非常大的并购活动，例如Mobileye(被Intel以153亿美元收购)、App Dynamics(思科，37亿美元)，以及Nimble Storage(HPE，12亿美元)。

　　去年还曾出现过一种较为普遍但并不持久的现象：大型技术公司疯狂并吞人工智能领域的初创公司，尤其是专为各种水平问题(Horizontal problem)组建了团队的公司。例如：Turi(Apple)、Magic Pony(Twitter)、VivLabs(三星)、MetaMind(Salesforce)、Geometric Intelligence(Uber)、API.ai(Google)，以及Wise.io(GE)。虽然这些举措使得主要针对水平领域的人工智能初创公司快速成为VC眼中的香饽饽，但这种不假思索的快速收购可能也对应着各种炒作，以及人工智能领域工程师的缺乏所造成的特殊时间段。

　　第三，一些大型大数据初创公司正在变成独立的上市公司。SNAP可以说是带动了技术公司IPO市场的复苏，但截至目前，能够借助该机会成功变现的依然只有大数据领域的公司。

　　虽然2016年全年，只有Talend这一家大数据公司成功上市，但2017年截至目前这一领域内满是IPO良机。Mulesoft和Alteryx成功上市并且表现还不错，这两家的发行价都超过了IPO价格。在撰写本文时，Cloudera也即将上市，该公司最新预估价(41亿美元)与营收(2016年2.61亿美元)之间的空缺对于“独角兽”的估价现象将造成不小的考验。此外MapR以及位置智能公司Yext也正在准备上市。

　　接下来会是谁?多年来，Palantir作为业内最低调的公司之一，已经表达出想要公开上市的意图。考虑到Palantir的最新预估价为200亿美元，如果其公开估价能够接近这一数字，将会成为IPO领域的一枚重磅炸弹。

　　打响云端战役

　　失败和收购活动也许不会让这个行业立刻得到巩固，但“功能合并”的情况日渐普遍，尤其是在云计算领域。该领域内一些重量级选手正在逐渐构建整合式的“大数据+人工智能”服务，并且吸引了不少用户，这些服务或者使用了自行开发的产品，或通过流行的开源计算引擎自行实现，这种服务距离很多买家所期待的“一站式购买”越来越近了。

　　尤其是Amazon WebServices还在继续快速发布不同类型的产品，让人获得了深刻的印象。目前该公司已经围绕大数据和人工智能技术提供了几乎所有产品，包括分析框架、实时分析、数据库(NoSQL、图形等)、商业智能，以及日益完善的人工智能能力，并且在深度学习方面颇有建树。按照这样的速度，AWS很快将具备我们的大数据全景中所涉及的几乎所有基础架构和分析产品。

　　虽然Google涉足云计算的时间较晚，但他们正在围绕大数据积极主动地构建一系列产品(BigQuery、Dataflow、Dataproc、Datalab、Dataprep等)，并且已将人工智能视作超越竞争对手的方法之一。过去一年来，Google在人工智能方面公布了很多消息，例如：一个新的转换引擎，雇佣了两名出色的人工智能专家Fei-FeiLi和JiaLi来领导新成立的Cloud AIand Machine Learning部门，针对视频识别提供的全新机器学习API，并且收购了数据科学家社区Kaggle。

　　更大规模的企业级IT供应商–尤其是Microsoft、IBM、SAP、Oracle以及Salesforce–也在努力推出大数据(以及人工智能)产品，这些产品都支持云端(最引人注目的是Microsoft)和本地部署。除了通过自行开发，以及收购而来的技术构建这些产品，他们的合作意愿也在逐渐加强，尤其是与“有数据的”公司(数据仓储)和“有人工智能的”公司进行合作。例如IBM和Salesforce以及SAP与Google的合作都是其中的典型。

　　按照企业IT行业的标准来说，云供应商的规模依然不算大，但这些公司的野心(包括在企业技术栈中，将自己的地位从IaaS层面上升至应用程序层面的明确意图)和稳扎稳打将企业数据迁往云端的做法相结合，意味着与传统IT供应商的全面战争已然打响，大家在争夺庞大的企业级技术市场的控制权，而大数据和人工智能将会是核心战场。