摘要:大数据技术最初以计算机和存储包的形式出现,强调数据接近计算,以HDFS+MapReduce数据管理方式为核心的技术,目前,大数据技术有了进一步的发布,计算机、存储包和存储包向存算分离设计方向发展,使得Hive,HBase等大数据应用迎来新的发展机遇。 |
在数字化转型过程中,如何激活数据要素潜力,推动网络强国建设,加速构建数字经济、数字社会、数字政府,推动整个生产方式、生活方式和治理方式的变革,是数字中国面临的最大挑战。而且,推进数据要素价值转换当然离不开云原生数据基础设施的支持。其中,以存算分离、支持多协议弹性文件存储、高效的数据计算技术为代表,新技术的应用将帮助不同行业的企业用户最大程度地释放数据价值。
存储分离释放无限数。
大数据技术最初以计算机和存储包的形式出现,强调数据接近计算,以HDFS+MapReduce数据管理方式为核心的技术,目前,大数据技术有了进一步的发布,计算机、存储包和存储包向存算分离设计方向发展,使得Hive,HBase等大数据应用迎来新的发展机遇。
结合华为云BigDataPro大数据离线分析解决方案,独立扩展存储,从而减少了不必要的资源浪费。华为云BigDataPro通过对存储进行扩展,消除了对保留容量的浪费,多种协议支持也减少了数据重复重复现象。独立的存算、分布式存储跨可用区容灾,使数据的持久性提高到12个9,数据的可靠性更加可靠。
这一完全相反的变化,从数据接近计算到今天的存算分离,难道大家也会觉得奇怪吗?故事情节“颠倒”的主要原因是什么?
抑或,存算分离是否仍能满足接近数据计算的需求?
因此,我还向华为咨询了云计算存储服务总经理崔林威。
朴茨茅斯表示:存算分离仍能满足类似近数据计算的需要,其中最大的原因就是网络技术的飞速发展,这为存算分离奠定了基础。不管是接近数据的计算,或者存算分离都不会改变上层HDFS+MapReduce的结构。华为云BigDataPro相较于传统方式,在存储隔离的基础上,提供了多协议互通、高可靠性等优点。
突破传统协议限制的多弹性文件存储器。
SFS(ScalableFileService)是一个弹性的文件服务,它不仅能提供大数据、文件接口、如为云中MRS,DLI等数据分析服务提供存储服务,通过NFS/CIFS协议或POSIX客户机部署在云中的视频编辑、基因分析、储层模拟、提供数据设计模拟等软件。
「可将资料解读为一瓶矿泉水,跨协议查访亦可理解数数。」崔林威说。
SFS是国内第一家支持NFS/CIFS/对象/大数据等多协议接口的存储服务。它是一个高性能文件存储(NAS),用于基因分析、视频制作/绘制、地球物理、文件共享、业务场景,如内容和Web服务,提供共享的数据访问存储服务。SFS突破了传统NAS只有私有数据存储协议的限制。
举例来说,在视频制作/渲染场景中,华为云和MangTV正在探索一种成本更低、更具实用性的播放计划,以创建业界第一个基于云服务的4K综艺节目——“MangoTV”。
由于SFS混合云解决方案可以兼容对象接口特性,通过对象存储直接将摄像视频上传到华为云,在云上通过文件接口对视频进行转码、合成、调色、等一系列处理后,直接通过对象存储器播放。与自行构建IT系统相比,节目制作时间减少了50%,按需付费云资源可以节约90%的初期投资。身为电视观众的她,能看到妹妹们清晰的服装细节和每一条睫毛,让影片的质感得以在对周期要求高、成本控制严格的综艺节目中呈现。
责任编辑:张华