摘要:“大数据也需要云计算这个平台,这是一个硬币的正反面。”阿里云总裁王文彬(花名:菲青)与媒体交流时表示。 |
探秘阿里云的御膳房与登月计划
探秘阿里云的“御膳房”
基于ODPS,阿里为第三方软件服务商和品牌商提供大数据计算、挖掘、存储的云环境开发平台,构建阿里数据生态。通过御膳房数据市场,数据消费者与数据提供者可以安全地交易、使用海量数据,实现数据价值。
1.丰富的淘宝数据。目前御膳房已开放商品、商家、客服绩效、品牌四大主题数据,后续会继续开放行业、竞品等主题数据;同时开发者也可以将个人数据上传使用。
2.指标标准可靠。开放共建的聚石塔数据标准联盟,御膳房提供完善准确的基础指标定义,计算口径,检验工具等,确保数据标准、唯一可靠。
3.自助计算。强大稳定的计算能力,提供离线分布式计算平台及强大的算法环境,自主提交计算任务,自主开发模型挖掘数据价值,大数据计算快速响应。
4.安全的操作平台。御膳房支持隔离的数据存储、独立的数据任务部署,确保御膳房内的数据交易与数据开发安全防泄漏。
5.灵活数据接口。开发者可根据需求灵活定制API,数据输出符合TOP API规范。
6.大数据挖掘工具。御膳房提供R、Python、MySQL在内的主流大数据挖掘工具,支持模型研究与快速迭代试验,提升数据价值。
阿里内部的登月计划
2013年10月,为了融合阿里小贷和支付宝的数据,支付宝希望ODPS团队协助他们搬家,将支付宝数仓业务从Hadoop机群搬到ODPS上,登月1号项目启动。2014年5月,登月1号项目顺利成功,小微金融服务的全部数据业务开始基于ODPS发展。
在2013年底,受到登月1号项目的启发,阿里数据平台团队联合技术保障部和集团各事业部,开始了一系列宏大的登月计划,致力于将搜索、广告、物流等多个BU的数据统一,未来ODPS将成为承载阿里集团全部数据的统一处理平台。“登月计划”共计划了20多个项目,涉及阿里巴巴和小微金服所有的事业部,覆盖集团全部数据人员,其牵扯人员、资源之多,在集团内部罕见。
从Oracle到Hadoop,阿里云解决了海量数据如何存储和分析的问题,阿里的数据业务不再受制于规模的瓶颈;从Hadoop到ODPS,更是一次质的飞跃,为后续大数据业务的开展扫清了障碍。
责任编辑:jay蕊