摘要:云存储系统具有如下特点:数据安全,超强的可扩展性,按照使用收费,可跨不同应用,自动切换故障,易于管理等。云存储主要应用于备份、归档、分配和共享协作等四大领域。 |
与云计算系统相比,云存储可以认为是配置了大容量存储空间的一个云计算系统。云存储系统具有如下特点:数据安全,超强的可扩展性,按照使用收费,可跨不同应用,自动切换故障,易于管理等。云存储主要应用于备份、归档、分配和共享协作等四大领域。
云存储系统是一个多设备、多应用、多服务协同工作的集合体,它的实现要以多种技术的发展为前提。根据云存储的特点及其应用领域,主要的云存储技术涉及到存储虚拟化,分布式文件系统,集群存储,存储集中管理,异质平台协同,自动分级存储等方面,当然还有重复数据删除、数据压缩等技术。
一、存储虚拟化
存储虚拟化(StorageVirtualization)最通俗的理解就是对存储硬件资源进行抽象化表现。通过将一个(或多个)目标服务或功能与其它附加的功能集成,统一提供有用的全面功能服务。典型的虚拟化包括如下一些情况:屏蔽系统的复杂性,增加或集成新的功能,仿真、整合或分解现有的服务功能等。虚拟化是作用在一个或者多个实体上的,而这些实体则是用来提供存储资源或服务的。
存储虚拟化是一种贯穿于整个IT环境、用于简化本来可能会相对复杂的底层基础架构的技术。存储虚拟化的思想是将资源的逻辑映像与物理存储分开,从而为系统和管理员提供一幅简化、无缝的资源虚拟视图。
对于用户来说,虚拟化的存储资源就像是一个巨大的“存储池”,用户不会看到具体的磁盘、磁带,也不必关心自己的数据经过哪一条路径通往哪一个具体的存储设备。
二、分布式文件系统
Hadoop分布式文件系统(HDFS)是一个设计为用在普通硬件设备上的分布式文件系统。它与现有的分布式文件系统有很多近似的地方,但又和这些文件系统有很明显的不同。HDFS是高容错的,设计为部署在廉价硬件上的。HDFS对应用程序的数据提供高吞吐量,而且适用于那些大数据集应用程序。HDFS开放了一些POSIX的必须接口,容许流式访问文件系统的数据。
HDFS是主/从结构的。一个集群有一个名字结点,也就是主控制服务器,负责管理文件系统的名字空间并协调客户对文件的访问。还有一堆数据结点,一般一个物理结点上部署一个,负责它们所在的物理结点上的存储管理。HDFS开放文件系统的名字空间以便让用户数据存储在文件中。内部,一个文件被分割为一个或者多个数据块,这些数据块存储在一组数据结点中。名字结点执行文件系统的名字空间操作,比如打开、关闭、重命名文件或目录,还决定数据块从数据结点的映射。数据结点负责提供客户的读写请求。数据结点还依照名字结点的指令执行数据块的创建、删除和复制工作。
三、集群存储
集群存储是将多台存储设备中的存储空间聚合成一个能够给应用服务器提供统一访问接口和管理界面的存储池,应用可以通过该访问接口透明地访问和利用所有存储设备上的磁盘,可以充分发挥存储设备的性能和磁盘利用率。数据将会按照一定的规则从多台存储设备上存储和读取,以获得更高的并发访问性能。
集群存储的优势主要体现在提高并行或分区I/O的整体性能,特别是工作流、读密集型以及大型文件的访问,通过采用更低成本的服务器来降低整体成本。集群存储有两种实现方式:一种是硬件基础架构加上软件;另一种是专用集群存储,是构建在NAS基础架构之上的,但是通过操作系统实现集群存储。