2017年，大数据生态系统全景回顾基础架构

　　去年发生的很多事依旧余波未平，例如流处理的重要性与日俱增，目前Spark已独占鳌头，但人们对竞争产品，例如Flink的关注也逐渐开始涌现。此外还有一的有趣的话题时不时地出现在人们的对话中：

　　SQL已经正式回归了

　　过去十多年来一直面对NoSQL技术“打压”的SQL数据库技术现已正式回归。Google最近发布了云服务版的Spanner数据库。Spanner和CockroachDB承诺提供一种高存活性、强一致性，可横向扩展的SQL数据库。Amazon发布的Athena与诸如Snowflake等产品类似，是一种大型的SQL数据引擎，可直接查询S3Bucket中存储的数据。GoogleBigQuery、SparkSQL以及Presto也开始在企业领域占有了一席之地–这些都是SQL产品。

　　数据虚拟化

　　在公有云的接受度方面有个有趣的趋势：数据虚拟化产品的使用率正在快速激增。较为古老的ETL流程需要移动海量数据并创建数据仓库，数据虚拟化技术使得企业可以无需移动，在原地进行数据分析，借此提高速度和敏捷性。很多下一代数据分析产品供应商，现在均已同时提供数据虚拟化和数据准备产品，借此帮助客户更轻松地访问云中存储的数据。

　　数据管控和安全性

　　随着大数据在企业中的应用日益成熟，并且数据的种类和数量依然在与日俱增，有关数据管控之类的话题也变的越来越重要。很多企业已经选择通过“数据湖”的方式创建一个中央仓库，用于保存自己的所有数据。但除非人们知道数据湖中到底有什么，并且能按需访问分析工作所需的恰当数据，否则数据湖将全无用处。

　　然而帮助用户轻松找到自己需要的数据，同时妥善地管理数据访问权，这一点并不容易实现。不仅需要考虑数据湖本身，管控的一个核心主题在于让用户轻松访问可信赖的数据，借此满足企业中任何人的需求，同时必须要以安全、可审计的方式做到这一切。或大或小的供应商(Informatica、Collibra、Alation)纷纷提供功了数据编录、参考数据管理、数据辞典，以及数据帮助台等产品。

　　分析

　　数据科学家是否已经成为濒危物种?

　　就在几年前，数据科学家还被视作“21世纪最性感的职业”。就算到现在，Glassdoor的“美国最佳工作”清单中，“数据科学家”依然名列榜首。

　　但是仅仅在诞生几年后，这个职业就已陷入困顿。部分原因在于其必要性，虽然学校和程序员课程依然在塑造大量粗制滥造的新手数据科学家，但这个岗位依然有很大空缺，尤其是财富1000强公司，他们都觉得很难招募到顶尖的技术人才。在某些组织中，数据科学部门已经从原本的促进者一举“堕落”为瓶颈。

　　与此同时，随着人工智能技术的民主化和自服务工具的飞速涌现，现在无论数据科学技能极为有限的数据工程师，甚至非技术型的数据分析师，都已经可以承担原本只能由数据科学家负责的基本任务。企业中与大数据有关的很多工作，尤其是枯燥乏味的简单工作，也许会越来越多地开始由数据工程师和数据分析师通过自动化工具来执行，而不再需要具备娴熟技能的数据科学家参与。

　　也就是说，数据科学最终可能会完全由机器来处理。一些初创公司已经明确将自己的产品定位为“自动化的数据科学”，其中最值得一提的是，DataRobot刚刚通过这种想法筹集到5400万美元投资(数据科学如何实现自身的自动化)，Salesforce Einstein也声称自己可以提供能自动生成的模型。

　　毫无疑问，这些趋势尚未流行起来，目前在数据科学的社区里依然存在一些争议。然而数据科学家目前还不需要对此过于担心。在不远的将来，自服务工具和自动化模型选择将成为数据科学家的“左膀右臂”，而非彻底取代他们，他们可以将更多精力用于需要进行判断、创新、社交技能，或需要具备垂直行业知识的任务。

　　让一切协同工作：数据工作台的崛起

　　在大部分大型企业中，大数据技术的运用通常都是从少数相对独立的项目开始的(这里部署个Hadoop群集，那里部署个分析工具)，并且会产生一些新的工作岗位(数据科学家、首席数据官)。

　　然而今天的情况截然不同：异构的情况愈加普遍，企业内部使用了五花八门的工具。从组织结构方面来看，在大型企业中，集中化的“数据科学部门”正在逐渐变成更加“分散化的组织”，通常会有数据科学家、数据工程师，以及数据分析师组成的跨职能群体，并且更加深入地融入到不同业务部门中。因此对于平台来说，需求已经变的更加明确，需要让所有人能够就各种技术进行协同工作，这一点在我们去年的文章中就有提及，大数据项目能否成功，主要取决于能否将不同技术、人员和流程完美融合在一起。

　　因此协作平台这一领域目前正在经历快速发展，并催生出一种被部分人称作DataOps(类似于DevOps)的概念。FirstMark也正是出于这个原因而投资了Dataiku(可参阅我的上一篇文章：Dataiku，亦或早熟的大数据)。这一领域其他比较重大的投资包括Knime(A轮，2千万美元)以及DominoDataLab(A轮1千万美元)。Cloudera刚刚发布了一款基于所收购的Sense技术开发的工作台产品。这一领域的开源活动也很活跃，例如Jupyter和Anaconda。

　　应用程序

　　人工智能驱动的垂直应用程序

　　至少几年前，我们就开始讨论垂直领域人工智能应用程序的崛起(x.ai以及人工智能驱动的应用程序逐渐涌现)，但原本的溪流何时演变成了现在的滔天巨浪?突然之间，似乎每个人都开始开发人工智能应用程序了，无论新成立的，或已经取得重大进展的初创公司，都开始压赌于人工智能，认为这是下一轮增长点(例如Inside Sales)。

　　在这种状况和趋势影响下，一些新成立的初创公司提出了很多激动人心的技术，虽然其中一些犹如雾里看花，但为了追逐热点趋势，也有很多公司在激进地进行重塑。在某些领域使用了某种机器学习技术的公司，并不算人工智能公司。

　　总地来说，人工智能初创公司的创建并不容易。而其中最关键的第一步在于选择一个垂直领域所面临的问题。除了深入的技术DNA，还需要深思熟虑的定位和策略。

　　然而要确保自己不被各种可能性看花眼，面对飞速的发展保持冷静，要做到这些其实很难。

　　尤其是去年，趋势已经很明显了：通过人工智能技术，解决与数据有关的任何问题。无论企业级应用程序或垂直行业，都采取了这样的方式。考虑到现实情况，今年我们在图表的应用程序分类中添加了多个类别，包括交通运输、房地产(借助数据科学实现房地产的现代化)，以及保险业。同时我们将一些非常活跃的行业拆分为两个类别，例如营销应用(拆分为B2B和B2C)以及生命科学(拆分为医疗健康和生命科学)。

　　除了这些领域外，还有一些非常新潮的应用(例如无人驾驶汽车)，今天的人工智能技术正在缺乏想象力的企业应用领域闪烁着耀眼的光辉，从人员流失预测到后端办公室自动化，再到安全，以不同形式提供了切实可行的收效。

　　人工智能导致人类失业，也许还没有得到政府部门的重视，但没有任何一个职业是不受影响的，至少需要考虑会如何受到影响，也许会通过人工智能得以“增强”。这些问题已得到很多白领职业的证明，例如医生(人工智能vs医生)或律师(人工智能开始从事法务工作)。

　　尤其是金融领域，似乎充分考虑了人工智能的潜力。多年来艰难度日的对冲基金正在为自己的算法寻找可替代数据。由人工智能驱动的全新对冲基金(Numerai、Data Capital Management等)虽然还不完善，但已经实现了快速发展。华尔街一些最重要的事务所均在使用人工智能取代人类(Black Rock、Goldman Sachs)。

　　机器人的反击

　　无论是爱是恨，2016年都是机器人的元年。很多消息交流服务均提供过完全自动化，可以实时交谈的代理程序。虽然昙花一现，但这些机器人程序似乎已经全面经历了不同的炒作周期，从一开始的承诺，到Tay所面临的灾难(译注：Tay是微软提供的一种基于人工智能技术的聊天机器人，该机器人一经上线，与众多网友交流后，变成了“带有种族歧视倾向并且固执的存在”)，到微型文艺复兴，再到Facebook相关研究放缓，有报告称聊天平台上70%的人工智能聊天机器人最终都以失败告终。

　　对于机器人程序的热情似乎有些早，得出这种结论的原因有很多，建议参阅BradfordCross的观点，他在文中非常恰当地指出，人们可能因为机器人程序在亚洲的崛起，或者Slack等底层基础架构的快速增长而得出了过于乐观的预期。我们相信，最终这种机器人程序有着很大的潜力，但毕竟这一领域还需要更长的成长时间。“生产商”一端(初创公司需要专注于每个具体的业务领域，少作承诺)和“消费方”一端(我们都需要习惯于机器人程序可以和不能做到的事情，Alexa正在帮助我们意识到这些!)都需要进行彻底的心态调整。

　　就目前来看，最光明的未来可能属于重要领域需要人类介入的服务，或者完全采取不同于机器人程序的定位，使用人工智能技术扩充人类能力的技术

　　结论

　　大数据与人工智能强强联合，我们即将进入“收获”的季节。忽略各种炒作，我们迎来了数量众多的可能性。

　　随着核心基础架构以及应用程序端日渐成熟，人工智能技术驱动的应用将迎来井喷期，2017年，大数据(以及人工智能)生态几将火力全开。

　　责任编辑：DJ编辑