机房360首页
当前位置:首页 » 大数据 » 网易杭研汪源:十余年大数据凝结成"网易云"

网易杭研汪源:十余年大数据凝结成"网易云"

来源:网易 作者:hang编辑 更新时间:2016/7/18 13:47:57

摘要:日前,网易杭州研究院执行院长汪源应邀出席了在上海举办的WAW大会。面向近400位与会者,汪源首次深入解密了网易在大数据分析领域的发展历程。

  作为国内最早诞生的互联网公司之一,网易在过去十余年的产品研发、孵化和运维过程中,各个部门对数据有着不同且繁杂的需求。而如何把这些繁杂的需求用统一的手段来解决,网易在大数据分析方面同样进行了十余年的探索,并自去年开始通过“网易云”将这些能力开放出来,推出了一系列面向B端企业客户的云服务产品。

  从起步到整合,“平台化”让网易大数据分析进入全新阶段

  “如何梳理数据、处理数据、提高数据分析的效率,这是网易一直思考的问题。”为此,汪源将网易大数据分析之路划分为的初步阶段、起步阶段和整合阶段。

  在2008年之前的初步阶段中,网易和国内的大部分公司一样,使用传统的方法进行数据统计。2009和2010这两年的起步阶段可以说是网易大数据分析的“初体验”,当然,这也与网易及国内整体互联网行业的快速发展密切相关。据汪源介绍道,正是因为面对海量的业务数据,网易开始尝试引入Hadoop等成熟的开源技术来解决数据存储和计算的瓶颈。

  从2011年开始,针对在前一阶段中数据格式不规范、产品接入成本高、计算任务不稳定等突出问题,网易开始走上大数据分析的整合阶段,其中最显著的变化便是整合、规范各类采集机制、指标体系等等,将数据分析“工具化”,以适应产品、设计、运营和市场等不同场景。

  在经历全面整合的阶段之后,“尽管将数据分析进行‘工具化’,问题依旧无法全部解决,个性化的数据需求以及灵活的多维分析难以完全满足,数据分析的“平台化”开始被提出并让网易的大数据分析进入了全新的阶段。”汪源介绍说。

  十年磨一剑,平台化产品逐渐成型

  2014年以来,网易开始加速大数据分析的平台化发展,以提高数据获取速度,提升数据分析效率,更快发挥数据价值。汪源在现场着重向与会人员介绍的“网易猛犸”与“网易有数”两大数据分析平台就是在这个阶段逐渐成型的。

undefined

  对于很多企业而言,大数据虽然看起来很美,却又面临着数据孤立,需求反馈周期长的问题。汪源介绍说,“网易猛犸大数据平台可以实现从各种不同数据源提取数据,同步到内核存储系统,同时对外提供便捷的操作体验”。据悉,现在每天约有130亿条数据进入网易猛犸平台,经过数据建模和清洗,进行数据分析预测。

undefined

  网易的另一大数据分析平台,网易有数则可以极大简化数据探索,提高数据可视化方面的效率,提供灵活报表制作等,以帮助分析师专注于自己的工作内容。此外,网易有数在二维空间通过综合运用分区块、颜色、大小等标识,展示多维数据,推动数据文化落地,有利于管理层和业务人员的自助分析。

  未来设想:融合大数据处理平台

  在演讲最后,汪源对未来大数据平台进行了展望。他认为,从网易大数据分析发展历程的第三阶段开始,抽象数据的层次已经很高。进入第四个阶段,网易希望能够开发出更基础的大数据处理平台。

  大数据分析面临着各种挑战,既有集成、计算和分析等老问题,同时也有新的挑战,诸如数据量多样性、数据类型多样性、需求多样性等等。面对这些问题,汪源对网易大数据分析平台未来的解决方案做了设想:“回归到计算机软硬件设计的基础,各类计算机应用场景,总线和组件的标准是统一的。从底层基础开始,设计大数据平台的数据集成、计算和分析,开发出融合大数据处理平台,从而满足未来遇到的各种个性化的数据分析需求。”

  网易云:网易技术服务能力的全面开放

  从网易大数据发展的历程来看,基于杭州研究院10年的技术积累,网易已经具备了成熟的互联网产品技术体系,并且有力的支撑了网易云音乐、云课堂、易信、LOFTER、公开课等产品的发展。

  汪源表示,网易云将会把这些能力开放出来,提供给更多的用户使用。比如网易易盾作为网易云推出的极速智能反垃圾云服务,其依托的便是网易的大数据和云计算服务,提供文本过滤、图片识别、语音分析、视频检测等服务,帮助企业和开发者实现对垃圾有害信息的实时过滤、精准拦截。

  除了网易易盾,从去年开始,以网易技术服务能力的全面开放为初衷,网易云还陆续发布了网易云信(即时通讯云服务)、网易七鱼(全智能云客服)、网易视频云、网易蜂巢(容器云)、网易云捕(质量跟踪平台)一系列的产品,并从研发云、运营云、运作云的角度对云服务进行了重新的划分。不难想象,随着网易在云计算、大数据等方面的研发积累日渐成熟,将会有更多样的云服务出现。


责任编辑:hang编辑

机房360微信公众号订阅
扫一扫,订阅更多数据中心资讯

本文地址:http://www.jifang360.com/news/2016718/n393784596.html 网友评论: 阅读次数:
版权声明:凡本站原创文章,未经授权,禁止转载,否则追究法律责任。
转载声明:凡注明来源的文章其内容和图片均为网上转载,非商业用途,如有侵权请告知,会删除。
相关评论
正在加载评论列表...
评论表单加载中...
  • 我要分享
推荐图片