机房360首页
当前位置:首页 » 大数据 » 华为云BigDataPro大数据离线分析解决方案

华为云BigDataPro大数据离线分析解决方案

来源:百度百家 作者: 更新时间:2021/12/22 11:20:23

摘要:大数据技术最初以计算机和存储包的形式出现,强调数据接近计算,以HDFS+MapReduce数据管理方式为核心的技术,目前,大数据技术有了进一步的发布,计算机、存储包和存储包向存算分离设计方向发展,使得Hive,HBase等大数据应用迎来新的发展机遇。

  在数字化转型过程中,如何激活数据要素潜力,推动网络强国建设,加速构建数字经济、数字社会、数字政府,推动整个生产方式、生活方式和治理方式的变革,是数字中国面临的最大挑战。而且,推进数据要素价值转换当然离不开云原生数据基础设施的支持。其中,以存算分离、支持多协议弹性文件存储、高效的数据计算技术为代表,新技术的应用将帮助不同行业的企业用户最大程度地释放数据价值。

  存储分离释放无限数。

  大数据技术最初以计算机和存储包的形式出现,强调数据接近计算,以HDFS+MapReduce数据管理方式为核心的技术,目前,大数据技术有了进一步的发布,计算机、存储包和存储包向存算分离设计方向发展,使得Hive,HBase等大数据应用迎来新的发展机遇。

  结合华为云BigDataPro大数据离线分析解决方案,独立扩展存储,从而减少了不必要的资源浪费。华为云BigDataPro通过对存储进行扩展,消除了对保留容量的浪费,多种协议支持也减少了数据重复重复现象。独立的存算、分布式存储跨可用区容灾,使数据的持久性提高到12个9,数据的可靠性更加可靠。

  这一完全相反的变化,从数据接近计算到今天的存算分离,难道大家也会觉得奇怪吗?故事情节“颠倒”的主要原因是什么?

  抑或,存算分离是否仍能满足接近数据计算的需求?

  因此,我还向华为咨询了云计算存储服务总经理崔林威。

  朴茨茅斯表示:存算分离仍能满足类似近数据计算的需要,其中最大的原因就是网络技术的飞速发展,这为存算分离奠定了基础。不管是接近数据的计算,或者存算分离都不会改变上层HDFS+MapReduce的结构。华为云BigDataPro相较于传统方式,在存储隔离的基础上,提供了多协议互通、高可靠性等优点。

  突破传统协议限制的多弹性文件存储器。

  SFS(ScalableFileService)是一个弹性的文件服务,它不仅能提供大数据、文件接口、如为云中MRS,DLI等数据分析服务提供存储服务,通过NFS/CIFS协议或POSIX客户机部署在云中的视频编辑、基因分析、储层模拟、提供数据设计模拟等软件。

  「可将资料解读为一瓶矿泉水,跨协议查访亦可理解数数。」崔林威说。

  SFS是国内第一家支持NFS/CIFS/对象/大数据等多协议接口的存储服务。它是一个高性能文件存储(NAS),用于基因分析、视频制作/绘制、地球物理、文件共享、业务场景,如内容和Web服务,提供共享的数据访问存储服务。SFS突破了传统NAS只有私有数据存储协议的限制。

  举例来说,在视频制作/渲染场景中,华为云和MangTV正在探索一种成本更低、更具实用性的播放计划,以创建业界第一个基于云服务的4K综艺节目——“MangoTV”。

  由于SFS混合云解决方案可以兼容对象接口特性,通过对象存储直接将摄像视频上传到华为云,在云上通过文件接口对视频进行转码、合成、调色、等一系列处理后,直接通过对象存储器播放。与自行构建IT系统相比,节目制作时间减少了50%,按需付费云资源可以节约90%的初期投资。身为电视观众的她,能看到妹妹们清晰的服装细节和每一条睫毛,让影片的质感得以在对周期要求高、成本控制严格的综艺节目中呈现。

  责任编辑:张华

机房360微信公众号订阅
扫一扫,订阅更多数据中心资讯

本文地址:http://www.jifang360.com/news/20211222/n9883142402.html 网友评论: 阅读次数:
版权声明:凡本站原创文章,未经授权,禁止转载,否则追究法律责任。
转载声明:凡注明来源的文章其内容和图片均为网上转载,非商业用途,如有侵权请告知,会删除。
相关评论
正在加载评论列表...
评论表单加载中...
  • 我要分享
推荐图片