摘要:在第五届云计算大会第二天的《云计算与大数据》专题论坛上,阿里巴巴资深技术专家强琦发表了名为《大数据开发平台》的主题演讲。他从大数据开发背景、平台和应用探索三个方面,介绍了阿里巴巴大数据和云计算的工作进展。 |
在第五届云计算大会第二天的《云计算与大数据》专题论坛上,阿里巴巴资深技术专家强琦发表了名为《大数据开发平台》的主题演讲。他从大数据开发背景、平台和应用探索三个方面,介绍了阿里巴巴大数据和云计算的工作进展。
强琦介绍,阿里巴巴集团与百度或者其他公司最大的区别是拥有更多结构化的数据,而且业务线非常多。目前该集在梳理内部的结构化数据,其中很少一部分的数据表量已达150万个,如果加上分库和分表,数量达到400多万个。目前已经结构化的数据总量是80PB,数据量月增将近3PB。
阿里巴巴建设集团统一数据平台的进展情况。关于如何解决“找得到”数据的问题,阿里巴巴建设了一个很大数据管理系统,在系统中可以找到整个集团的所有数据。强琦强调,数据是有关系的,它并不是平铺的。平铺的400万张表是没有价值的,重点是在于这些表之间是有关系的。
阿里巴巴的大数据处理平台,主要目的是解决让大家用得起、用得好数据的问题。此外,在建设大数据处理平台时,还重点考虑了在线存储服务、调度服务。大数据平台还有一个重要的特点就是开放,整个数据和平台都是对外开放的。
责任编辑:余芯
更多内容请关注机房360,www.jifang360.com,中国绿色数据中心