大数据应用 挑战在业务层面

　　继云计算概念一片火热的同时，大数据正在紧随其后。由于概念含混，许多产品都与云扯上关系，云计算一直被认为是炒作，不过目前的种种事实证明并非如此，云计算确实有巨大的潜力和市场。同样的，大数据也正在遭受着质疑，其中最直接的质疑是：大数据所指的大数据分析，已经不是什么新鲜事了，大量数据的处理与分析应用早就存在，许多企业采用数据仓储就是为了解决大量数据处理与分析的难题。这其实是个误解。

　　大数据的3种特性

　　大数据有3种特性：Volume、Velocity、Variety。

　　Volume指的是数据量庞大，但至于到底数据量要多大才算呢?这其实没有明确的界限，不过有许多企业已经面临单日数据量以数十、数百TB的速度增加，而总数据量也达到了PB(Petabyte)等级，这样的数据量已让传统的数据库难以处理;

　　Velocity是指数据增加的速度越来越快，诸如移动化、社交网络的风行，使得数据增加的速度比传统的企业应用程式来得快很多，一旦数据增生速度越快，数据处理、分析的速度也就得跟上;

　　Variety则是指数据的多样性，我们现在上网不是只看看资讯，同时我们不断在产出数据：上传照片、上传视频、发微博，另一方面，IT深入生活中的各个层面，各式各样的监控器、感应器也不停地产出机器资讯，数据的型式已不像过去那么单纯了。

　　有目共睹的是这3个数据特性已经真实的来临了，大数据在带来机遇的同时也带来挑战，如何解决日渐紧迫的大数据处理问题呢?

　　以Facebook、Twitter这样面临数据量大爆炸的公司为例，他们使用的是Hadoop、NoSQL等新兴技术来解决问题。Hadoop是分散式处理技术，它立基于分布式架构，因此可以使用大量便宜的服务器，打造巨大的处理能力，并且可由水平扩充方式来加大处理能力，以应付更大的数据处理需求。

　　有了Hadoop这样的开放原始码技术，让许多人不需购买大型的数据分析设备，也可以来分析大量的数据，例如日本药厂透过分析Twitter使用者的留言，分析感冒、流鼻水等症状的字眼，就能了解流行病的趋势，掌握市场脉动;而在过去，如果你没有可行的大数据分析工具，可能连想都不敢想要分析Twitter这么一回事。

　　至于传统数据分析厂商，也纷纷将数据分析平台转换为分散式处理架构，提供水平扩充能力，或是增加处理速度更快的数据库技术，来应付大数据的3种特性。这样的发展也有助于企业因应未来的数据处理挑战，对于已经采用数据仓储的用户，例如银行业，就能顺利移转。毕竟，Hadoop仍是一个很新的技术，其中的技术门槛亦较高。

　　所以，大数据不会是一个空谈的话题，在技术上已经有诸多变革在发生了。不过，大数据的挑战不完全是技术层面的话题，更大的挑战是在业务层面，甚至是管理面的问题。