大数据研究前沿 北大重点实验室担重任

　　如今越来越多的领域都需要使用大数据分析和挖掘技术，大数据的获取、挖掘和分析不只是生产工具，而且它已经成为科学进程的组成部分，未来不论在自然科学还是社会科学方面，很多研究都将由大数据驱动。大数据研究这一具有挑战性的课题，目前由国内最顶尖的高等学府北京大学重点研究实验室承担，也就是北京大学机器感知与智能教育部重点实验室(以下简称北大重点实验室)。

　　北大重点实验室是一个横跨多个研究领域的实验室，目前涉及的主要领域包括计算机科学、智能科学技术、心理学以及认知科学等，是一个多学科交叉科研机构。实验室以实现高度智能化的机器感知系统为目标，并紧密结合国民经济和社会发展的要求，开展机器感知、智能信息处理与认知科学方面的基础与应用基础研究。目前实验室的主要研究方向有感知机理，计算智能与知识发现，视感知，听感知，数字媒体技术，可视化与视觉计算。

　　北大重点实验室承担着多学科的重点研究，并一直走在科技的前沿，这次北大重点实验室承接了大数据研究这一项目后，将工作重点不仅放在了研发用于处理海量数据的新技术和系统上面，还放在了确保个人资料的收集、处理和分析在一个严密、安全的环境下进行上面。同时，北大重点实验室还承担着如何利用大数据解决交通运输、城市规划、卫生、财政和教育等现实中不同领域的问题，以及如何通过大数据建立分析模型，来预测传染病的传播并进行舆情分析等研究方向。

　　大数据研究面临的挑战及北大重点实验室IT选型重点

　　目前，参与大数据研究的各方面临着一些技术上的挑战，其中包括：

　　1. 非结构化和半结构化数据的高效处理

　　据统计，目前采集到的数据85%以上是非结构化和半结构化数据，而传统的关系数据库技术无法胜任这些数据的处理，因为关系数据库系统的出发点是追求高度的数据一致性和容错性。

　　2. 如何探索大数据复杂性、不确定性特征描述的刻画方法及大数据的系统建模

　　这一问题的突破是实现大数据知识发现的前提和关键。从长远角度来看，依照大数据的个体复杂性和随机性所带来的挑战将促使大数据数学结构的形成，从而导致大数据统一理论的完备。从短期而言，学术界鼓励发展一种一般性的结构化数据和半结构化、非结构化数据之间的转化原则，以支持大数据的交叉工业应用。管理科学，尤其是基于最优化的理论将在发展大数据知识发现的一般性方法和规律性中发挥重要的作用。

　　3. 数据异构性与决策异构性的关系对大数据知识发现与管理决策的影响

　　由于大数据本身的复杂性，这一问题无疑是一个重要的科研课题，对传统的数据挖掘理论和技术提出了新的挑战。在大数据环境下，管理决策面临着两个“异构性”问题：“数据异构性”和“决策异构性”。传统的管理决定模式取决于对业务知识的学习和日益积累的实践经验，而管理决策又是以数据分析为基础的。

　　4. 数据的去冗余和高效率低成本的数据存储

　　数据中有大量的冗余，消除冗余是降低开销的重要途径。大数据的存储方式不仅影响效率也影响成本，需要研究高效率低成本的数据存储方式。需要研究多源多模态数据的高质量获取与整合的理论和技术、错误自动检测与修复的理论和技术、低质量数据上的近似计算的理论和算法等。

　　5. 大数据的有效融合

　　数据不整合就发挥不出大数据的大价值。大数据的泛滥与数据格式太多有关。大数据面临的一个重要问题是个人、企业和政府机构的各种数据和信息能否方便地融合。

　　6. 适合不同行业的大数据挖掘分析工具和开发环境

　　不同行业需要不同的大数据分析工具和开发环境，应鼓励计算机算法研究人员与各领域的科研人员密切合作，在分析工具和开发环境上创新。当前跨领域跨行业的数据共享仍存在大量壁垒，海量数据的收集，特别是关联领域的同时收集还存在很大挑战。