MapReduce的 ：“在传统的关系数据库的世界里，在信息被加载到存储器后，所有的数据处理工作才能开始，使用的是一门专用的基于高度结构化和优化过的数据结构的查询语言。这种方法由Google首创，并已被许多网络公司所采用，创建一个读取和写入任意文件格式的管道，中间的结果横跨多台计算机进行计算，以文件的形式在不同的阶段之间传送。“ 技术： Hadoop和Hive、Pig、Cascading、Cascalog、mrjob、Caffeine、S4、MapR、Acunu、Flume、Kafka、Azkaban、Oozie、Greenplum 。

　　大数据 – 挑战

　　最近举行的世界经济论坛也在讨论大数据，会议确定了一些大数据应用的机会，但在数据共用的道路上仍有两个主要的问题和障碍。

　　隐私和安全

　　正如Craig & Ludloff在“隐私和大数据“的专题中所提到的，一个难以避免的危机正在形成，大数据将瓦解并冲击着我们生活的很多方面，这些方面包括私隐权、政府或国际法规、隐私权的安全性和商业化、市场营销和广告……

　　人力资本

　　麦肯锡全球研究所的报告显示 ，美国的数据人才的缺口非常大，还将需要140，000到190，000个有着“深度分析”专业技能的工作人员和1.500个精通数据的经理。

　　寻找熟练的“网站分析”人力资源是一个挑战，另外，要培养自己的真正拥有分析技能的人员，需要学习的内容很多，这无疑是另一个大挑战。

　　大数据 – 价值创造

　　很多大数据的内容都提及了价值创造、竞争优势和生产率的提高。要利用大数据创造价值，主要有以下五种方式。

　　数据分析的机会领域

　　当“网站分析”发展到“数据智能“，毫无疑问，数据分析人员也工作也应该发生一些转变，过去的工作主要是以网站为中心并制定渠道的具体战术，而在将来则需要负责更具战略性的、面向业务和(大)数据专业知识的工作。

　　数据分析师的主要关注点不应该是较低层的基础设施和工具开发。以下几点是数据分析的机会领域：

　　处理 ：掌握正确的工具以便可以在不同条件下进行高效的分析。目前网站分析专家们最常用的工具无疑是各类网站分析工具，大多数人并不熟悉商业智能和统计分析工具如Tableau、SAS、Cognos等的使用。拥有这些工具的专业技能将对数据分析人员的发展大有好处。

　　NLP：学习非结构化数据分析的专业技能，比如社交媒体、呼叫中心日志和邮件的数据多为非结构化数据。从数据处理的角度来看，在这个行业中我们的目标应该是确定和掌握一些最合适的分析方法和工具，无论是社会化媒体情感分析还是一些更复杂的平台。

　　可视化 ：掌握仪表板的展示技能，或者宽泛点来说，掌握数据可视化的技术是摆在数据分析师面前一个明显的机会。

　　行动计划

　　在大数时代，其中一个最大的挑战将是满足需求和技术资源的供给。当前的“网站分析”的基础普遍并不足够成熟以支持真正的大数据的使用，填补技能差距，越来越多的“网站分析师”将成长为“数据分析师”。

　　责任编辑：余芯