在这个大数据的价值堪比石油和黄金的时代，不论你是否从事大数据相关的工作，了解和掌握大数据相关的技术都应该成为一个工程师的必备技能。因为到现在为止，不管是什么体量的公司，都已经意识到数据的价值。

　　自 2012 年起，无论是 BAT 还是传统的商业公司，都纷纷在自己的软件系统中大规模使用大数据技术。不仅如此，越来越多的软件工程师也开始转型成为大数据工程师，从事大数据开发与应用的工作。市场对于大数据的人才需求与日俱增，大数据方向俨然成为了业内炙手可热的职位。

　　根据首份《大数据人才报告》显示，目前全国的大数据人才仅 46 万，未来 3～5 年内大数据人才的缺口将高达 150 万。未来五年甚至十年都将是大数据的天下，百度、淘宝、腾讯每天的数据数以亿计，而数据背后的价值更是企业最为看重的。所以大数据人才的薪资将会水涨船高，而企业将会在很长时间内疯狂的抢夺大数据人才。

　　但是，不论是大数据的技术还是应用，都始终处于动态变化的过程中。对于很多刚开始接触大数据、使用大数据的人来说，这无疑带来了很多困惑。因为大数据发展到现在，已经沉淀出了足够多的技术和场景，对于一个新人来说，想系统快速了解大数据，其实也并不容易。

　　我从业这些年，带过很多大数据新人，也给很多的企业做过培训。他们刚刚了解大数据的时候，基本都会遇到这样的问题，比如说：

　　我天天听别人讲大数据，自己也看了不少资料，却不得要领，看不到完整的大数据知识轮廓。

　　即使我的工作和大数据相关，但仍不清楚大数据平台究竟是如何运作的，不知如何突破。

　　领导让我搭建一套大数据平台，而我却是一头雾水，不知从何处入手。

　　如果你有也有这样的困惑，不要着急，其实这些问题很大程度上都是由于大数据知识体系繁杂造成的，因为你无法从全局看问题，反而是容易陷入到局部，所以对于大多数人来说，遇到大数据的时候，都是一头雾水，只能看到一个一个的开源项目，却不知道为什么。

　　我在极客时间开设这个专栏，就是希望结合自己多年大数据开发、应用的经验，帮助你构建一套立体化的知识体系，并从不同视角、不同维度带你找到突破口，帮你从普通开发者晋升为拥有大数据思维并能解决复杂问题的技术专家。

　　我是谁

　　我是李智慧，同程艺龙交通首席架构师、Apache Spark 代码贡献者，曾担任阿里巴巴技术专家、Intel 亚太研发中心架构师、宅米和 WiFi 万能钥匙 CTO。2005 年研究生毕业之后，我就从事研发和架构相关的工作，特别是在大数据架构领域，我也有一些自己的研究和思考。另外，我有超过 6 年的线下咨询和培训经验，同时，还著有畅销书《大型网站技术架构：核心原理与案例分析》。

　　在 2012 年的时候，我从阿里巴巴跳槽到 Intel 做大数据开发。当时很多人不理解我为什么会从如日中天的互联网公司跳槽到“传统”的 IT 公司。但现在回过头来看，我觉得我当时的判断是正确的，因为从那年之后，越来越多不同领域、不同规模的公司纷纷开始拥抱大数据，大家也都意识到数据的价值，也都开始基于“大数据”来优化或者重构自己的业务。

　　站在 2018 年这个时间点再去看，我敢说所有的公司都已经认同数据是他们的核心资产这一说法。

　　如果说，大数据是一个技术的殿堂，那希望我的专栏不仅可以带你找到进入大数据“殿堂”的钥匙，也能透视“殿堂”里的结构、装饰、家具，告诉你为什么用这些元素可以构建恢弘的“殿堂”，以及如何更好地利用这个殿堂的空间与设施，而不是你进入“殿堂”看到一张床就舒服地躺下，错失了更美的风景。

　　责任编辑：Erin