摘要：大数据这一新工具提供了认识和解决问题的新机遇和手段，但它不是能治百病的万能药，也不能取代传统统计学和数据分析。

    大数据这一新工具提供了认识和解决问题的新机遇和手段，但它不是能治百病的万能药，也不能取代传统统计学和数据分析。
　　
　　何谓大数据？
　　
　　大数据是指互联网时代数码化的数据超高速增长的现象。数据大只是量的概念，而“数码化”是质的变化。数码化数据可以用电脑高速处理。数码相机取代了胶卷相机就是因为它可以实时地用电脑芯片处理数据而生成照片和映像。这种变革是划时代的，它改变了一个产业。
　　
　　数码化的数据除了量大（Volume）以外，它积累的速度（Velocity）更是惊人。积累的方式已不是过去的批量式而是源源不断的数据流。数据的产生也是多源化（Variety）的。采集手段包括手机、传感器、电脑、扫描器、监测仪等。数据形态包括数字、文字、声音、照片、影视等。这种从现实生活中产生的实时数据具有很大的噪音（Voracity）。既有传统的有结构数据，更有大量半结构和无结构数据。
　　
　　大数据为何重要？
　　
　　不管你承认与否，大数据已成为现代生活的现实，而且在改变着我们的思维和行为方式。当你在互联网上购买一本书时，你会同时收到网站给你推荐的另几本书。这就是供应商在背后应用大数据的方法对其他成千上万购买同一本书的群体进行比较分析后的结果。被推荐的书正是该群体最常买的相关书籍。
　　
　　大数据的处理技术使我们能做过去认为做不到的事情。中国人的治学境界是要“破万卷书，行万里路”。今天用电脑“看”数码化的书，破万卷书是轻而一举的事。
　　
　　大数据实时处理多媒体、多渠道提供的数码化数据的能力正在改变我们的生活。正在兴起的远程医疗就是一例。在病人家中安装监测仪定时采集医疗数据，病人用智能手机自我检查的结果等数据可以实时地传送给医院。医护人员可根据实时电子病历进行诊断、治疗和护理。这些不断积累的电子病历又经过数据挖掘而产生新的信息和智能，促进医护服务质量的改进和提高。
　　
　　大数据对传统统计学提出了挑战的同时也创造了机遇。以概率为基础的抽样统计的理念是以尽可能小的随机样本来推测总体的状态和行为。我们必须先设计调查问卷，再进行数据采集、清理、分析以形成报告。这个过程很长，数据采集费用高，
　　
　　而能回答的问题又受问卷的限制。这就产生了抽样统计的不治之症：慢、少、贵。即使行政统计，也都是用预制表格采集有结构数据。大数据的理念是对现代生活中通过多种渠道和手段源源不断得到的半结构、无结构的数码化的数据进行处理、挖掘和分析而产生信息。它是实时或接近实时的数据处理，寻找的是相关性而不是因果性，回答的问题不受问卷和表格的限制。
　　
　　如果说抽样统计和行政统计是统计1.0，我们可以把包括大数据的统计研究叫做统计2.0。统计1.0的数据是有结构的样本和行政数据。而统计2.0的数据还要加上无结构或半结构的、从现实生活中通过多种渠道获得的数码化数据。从这个意义上讲，大数据为解决传统统计“慢、少、贵”的顽症提供了新的可能性。
　　
　　大数据与现代信息技术
　　
　　近年来信息技术的快速发展促进了大数据时代的到来。
　　
　　首先，海量数据的高速处理必须解决传统数据处理的瓶颈问题：数据库需要一个一个排起队来处理。搜索一个数据库可以瞬时完成，但搜索50个，上百个数据库，即使再快的电脑也需很长时间。网上搜索引擎巨头公司如雅虎（Yahoo）和谷歌（Google）即率先研发应用以Hadoop为代表的数据分散组合处理技术。这种技术的核心理念是把搜索50个数据库的任务分散到50台电脑服务器上同时进行，然后把所有搜索结果组合后反馈给用户，大大加快了数据处理速度。
　　
　　第二，由于大数据处理（如Hadoop）技术需要大量的硬件投资和专业人员的维护，大部分公司和政府部门都无力承担其费用。云计算使得资源共享成为可能，因而大大降低了大数据技术应用的成本，推动了大数据发展的进程。
　　
　　第三，大数据处理过程中需要组合多源数据。而我们知道数据库有多种（如：Oracle，SQL等），它们之间在数据结构、定义等各方面是不匹配的。近年来以XML语言为基础的数据整合技术（Data Mashup）的发展和成熟使实时的网上现场多源数据整合成为可能，为大数据时代的到来扫除了一个障碍。
　　
　　第四，海量数据处理和分析的结果常常是分散和杂乱的。如何使数据分析结果变成简明易懂的信息是大数据产生价值的关键。近年来方兴未艾的数据可视化技术（DataVisualization）上的创新和发展使以数据为基础的，实时的智能决策支持成为可能，为大数据时代开了绿灯。
　　
　　编辑：Harris