机房360首页
当前位置:首页 » 大数据 » 云计算在大数据中的应用探析

云计算在大数据中的应用探析

来源:机房360 作者:机房360 更新时间:2015/12/30 14:42:52

摘要:近年来,随着网络的发展和新兴技术的出现,尤其是物联网技术的推广,大数据成为眼下最流行的技术,这必然会给目前的数据库和信息处理技术带来新的挑战,旧的数据处理、数据挖掘技术已经很难满足要求,必然要求数据处理技术进行新的革命性的变革。近年来,云计算技术也在不断的发展,二者的结合会给信息处理带来很多新的挑战和机遇。

  1 大数据概述

  什么是大数据?“大数据”是一个数据量特别大、类别特别多的数据集,并且这样的数据集无法用传统数据库工具对其内容进行加工处理。“大数据”首先是指数据量非常庞大,指代大型数据集,一般在10TB规模左右,在日常的应用中,多数的单位都是把多个来源于不同系统的数据集统一的放在一起,形成了更为庞大的数据量;其次是指数据类型特别多,现在兴起的云计算技术,使得现在创造数据的主体由企业逐步的转向个体,而我们个体创造的数据大多是文档、图片、音频、视频等,这些数据都是非结构化的,还有大多数的企业的办公自动化通过网络得以实现,由此产生的数据也大多是非结构化的。也就是说我们要处理的数据来源于不同的系统和数据源,数据类型和数据格式更为复杂,已不在局限于结构化的数据结构,而是半结构化和非结构化数据的一个混合体。第三是要求要有非常高的相应处理速度,尽管要处理的数据量异常庞大,也必须对如此庞大的数据量做到实时处理。最后一个特点是指数据真实性高,随着社交数据、企业交易和应用数据等新数据源的崛起,传统数据源的局限被打破,企业越来越需要高效的信息处理,以确保数据的真实性、准确性及安全性。

  另外,结构组成更为复杂的新数据开始出现,而且生成的速度提高到了一个前所未有的程度。例如:社交网络数据、备份数据和物联网应用下的传感器数据都属于人们在分析中关注的新数据源,企业需要对这些数据类型进行快速、准确、可靠的分析,以便充实其已知的信息数据量。

  在企业内部,随着客户以在线渠道作为开展商业交易及与企业互动的主要手段和网络日志的不断增加,为监测和优化业务运营而部署的传感器网络和机器数量也越来越多。结果就生成了大量新数据源、快速增加的数据量和迅速增加的新数据流,需要分析所有这些新数据。“大数据”在互联网与传统企业之间建立了紧密的联系,推动了互联网企业与传统的企业的融合,逐步掀起了一场消费模式、生产模式、管理模式的革命。

  2 云计算概述

  2.1 云计算的概念

  “云计算”将计算机从客户端集中到“云端”,作为功能应用通过互联网络提供给客户端,它将用户提交的各种需求动态、合理的分配给分布在各处的计算机系统,从而提出需求的各种应用系统能够获取相应的计算服务、存储空间。用户关心的是需求提出的功能,而不需要去关心应用功能是怎么实现的,所有的应用功能都是由服务提供商来完成的。它是一种商业计算模型,而不是一种平台或者架构。

  实现云计算所需要的基础设施有多种技术结合来完成。尤其是需要一套系统的软件对分布在各处的硬件进行虚拟化调度和管理,即把分布于各处的计算机软、硬件资源集中起来进行综合处理。

  2.2 云计算特点

  (1)资源使用的可扩展性。云计算可以根据用户的需求动态的分配和回收分散在不同地理位置的不同的软、硬件资源。当用户提出一个新的计算需求时,云计算系统动态的分配给该请求一个可利用的资源,当用户的需求已经满足或结束时,系统合理、及时的回收该用户所占用的资源,以分配给下一时间段其他的用户所提出的需求,从而实现了整个网络资源的利用的扩展性,大大提高了资源使用的效率。

  (2)云计算的普遍性与自动性。云计算的处理单元和各种资源是由互联网连接在一起的,用户通过网络向与计算提出请求,云计算同样通过网络将处理的结果送回给用户。而且互联网的范围是覆盖全球的,所以互联网使得云计算所能提供给用户的服务无处不在,使得云计算具有了最大范围的普遍性。而且这种服务是由云系统自动完成的,不需要用户与服务提供者进行任何的交互,所以使用起来尤其的方便快捷。

  (3)云计算系统的透明性。对于云系统而言,它将各种分散在各地的资源进行统一的调度与管理,然后将计算结果提供给用户;反过来对于用户而言,用户只知道自己需要什么样的服务,只要将请求提交给云系统,结果就会快速的返回,它的处理能力是无限大的,用户并不去关心请求的计算到底是怎样完成的,也就是服务的完成对于用户来说是完全透明的。

  3 云计算和大数据的关系

  本质上讲,云计算强调的是计算能力;而大数据强调的是处理、计算的对象。然而二者并不是孤立存在的,而是相互关联的。大数据所提供给用户的服务还是需要对数据的处理,然后得到处理后的结果,主要还是落脚在对数据的加工上;云计算中的重要组成部分基础设施,即基础设施主要还是存储设备,所以两者密不可分。

  云计算能力以及它的分布式结构为大数据的商业模式提供了实现的可能。“大数据”要求能够处理几乎所有类型的海量数据,例如文档、图片、视频、音频、微博、电子邮件等,而且要求处理的速度非常高,几乎是实时的。而且这种大量数据的计算要求必须是面向最普通的用户的,所以必须是廉价的。它所应用的基础的硬件设施都是最低成本的。而云计算正是利用了这些价格低廉的基础设施,使得用户能够按照提出的需求获得相应的服务,云计算的这种分配机制完全的满足了上面说到的大数据系统中海量的、多种数据类型的数据的处理和存储要求。云计算技术使得大数据的实现成为可能。

  现如今,大多数的大型业务系统例如:银行系统、电子商务系统等,使用的数据库系统仍然是传统的关系型数据库系统,例如:SQLSERVER、ORACLE系统等。云计算模式进入这些大型业务系统的数据管理以后,这些大型系统的数据库结构必然发生了质的变化,所以容易得出的结论就是,那些以前基于传统的关系型数据库的大型系统所提供的服务,必将被一种全新模式的云计算数据库所替代,当然云计算数据库是在传统的关系型数据库基础之上发展而来的。云计算数据库提供了强大的海量数据的存储与处理功能,同时还必须具有在线分析处理和在线事物处理的能力。

  4 大数据与云计算的未来

  在信息高速发展的这个时代,人们的信息的要求已经提出了更高的要求。而大数据概念的提出正迎合、并能满足了这一更高的要求。人们对信息数据的要求是对数据量异常庞大的、数据类型纷繁复杂的、很难制定统一标准的数据进行快速的处理。大数据会进入到人们生活的方方面面,如同我们生活环境周围的各种细小的基础设施一样。大数据的发展必将催生众多产业的兴起于发展,需要大量的数据分析、处理方面的工程人才,从而造就出众多的就业岗位。大数据必将成为下一轮经济增长的源动力,成为既互联网产业之后的新的IT业的龙头产业,为全球走出经济危机起到决定性的带动作用。

  5 结束语

  本文中探讨了什么是大数据和云计算,并分析了大数据和云计算之间的关系,分析了在云计算时代的背景下,二者的未来走向是什么,通过分析可以清楚的知道,云计算为大数据提供了更好的发展机遇。

  责任编辑:余芯

机房360微信公众号订阅
扫一扫,订阅更多数据中心资讯

本文地址:http://www.jifang360.com/news/20151230/n705676407.html 网友评论: 阅读次数:
版权声明:凡本站原创文章,未经授权,禁止转载,否则追究法律责任。
转载声明:凡注明来源的文章其内容和图片均为网上转载,非商业用途,如有侵权请告知,会删除。
相关评论
正在加载评论列表...
评论表单加载中...
  • 我要分享
推荐图片