机房360首页
当前位置:首页 » 分析 » “大云”数据仓库在移动互联网领域的最新实践

“大云”数据仓库在移动互联网领域的最新实践

来源:机房360 作者:yayo编辑 更新时间:2012-12-2 17:26:17

摘要:Hadoop与大数据技术大会(Hadoop&BigData Technology Conference 2012,HBTC 2012)于2012年11月30日-12月1日在北京新云南皇冠假日酒店隆重召开。在大数据共享平台与应用主题论坛上,来自中国移动研究院的齐骥分享了“大云”数据仓库在移动互联网领域的最新实践的话题。

  中国IT界技术盛会——Hadoop与大数据技术大会(Hadoop&BigData Technology Conference 2012,HBTC 2012)于2012年11月30日-12月1日在北京新云南皇冠假日酒店隆重召开。本次大会以“大数据共享与开放技术”为主题,聚焦于Hadoop与大数据,力邀数十位国内外Hadoop及大数据技术应用的产学界人士和实践企业,探讨大数据技术生态系统的现状和发展趋势,并围绕Hadoop与大数据热点技术和应用实践进行深入解析。

  齐骥分享了中国移动某一天的日志分析的需求案例。齐骥表示,这个业务是无间断的生成,要求是准时时,用户形成通话、上网访问的5分钟内,要求大数据在投诉系统或者其他的功能日志系统中可以查询,单系统的总数据量,可以超过3TB。如果保存按照新的规范要求,保存一年的数据,会超过1PB,同时要对定期对数据进行扫描生成数据报表,还要执行一些不定期的即席查询,主要是OLAP类型的复杂分析和查询,满足客服人员通过Web端,不少于50个并发方式访问日期系统,处理投诉。在此压力的前提下,传统方案会非常高,所谓的传统方案就是IOE等等这些处理方案。现有的开源系统是可以解决一部分的问题,但不能支持索引等等!面临种种挑战。

  齐骥介绍,中国移动在2007年就开始开展了相关的理论研究,当时利用15台闲置的计算机,搭建了一些简单的试验环境,并且确定了研发方向,在大云的发展历程上有很重要的里程碑的事件。我们2010年的5月份我们发布了1.0的产品,当时包括9个产品,涵盖了数据挖掘、数据仓库、弹性计算等等方面,今年8月份我们生产线扩展到了13个产品,补充了内存计算等这些关键的产品,这里面也提到了一些口号,我们是以技术研究为先导,策略研究为主导,逐步市场化,进行推广,我们也是业界公认的,体系比较完整的开发系统之一。

  未来,中国移动将加强实时大数据分析,比如在信令监测领域,经常需要对数以十亿计的信令监测数据进行多维度的统计分析,而应用要求在10秒钟,甚至更短的时间就返回结果。

  责任编辑:yayo

本文地址:http://www.jifang360.com/news/2012122/n174142731.html 网友评论: 阅读次数:
版权声明:凡本站原创文章,未经授权,禁止转载,否则追究法律责任。
相关评论
正在加载评论列表...
评论表单加载中...
  • 我要分享
更多
推荐图片