| 摘要：存储虚拟化是网络存储系统中普遍采用的一种数据管理技术，它通过一定手段实现对存储资源的集中式管理，屏蔽了组成物理存储介质的异构性并为使用者提供大容量、高性能和多功能的存储系统。 |
三、系统实现
BW-VSDS系统软件从结构上可划分为全局虚拟化、本地虚拟化和存储代理三个子系统，他们分别运行于系统中的三种功能实体：元数据服务器、存储节点和应用服务器，本节将依次介绍这三种子系统各自不同的软件组成和系统功能，以及三者之间的通讯机制。
1、全局虚拟化子系统
该子系统运行于元数据服务器是整个系统的核心枢纽，它一方面将位于后端存储节点中离散存储资源聚合统一管理;另一方面以虚拟存储卷为单位为前端应用服务器分配所需的存储资源，它由全局虚拟化引擎、系统管理接口，Web服务器三个模块构成，其中全局虚拟化引擎实现了系统存储资源管理机制及多种资源管理策略;系统管理接口将用户管理员命令转换为对全局虚拟化引擎的相应操作;Web服务器对外提供功能丰富的系统管理界面以方便管理员在控制台实施远程访问。
2、本地虚拟化子系统
该子系统运行于存储节点，它主要实现以下功能：
(1)代理全局虚拟化子系统完成以逻辑存储卷为单位的本地存储资源管理;
(2)协助全局虚拟化子系统实现对逻辑存储卷的多种数据存储管理语义;
(3)为前端应用服务器提供网络块级(或文件级)数据访问接口。
3、存储代理
该子系统运行于应用服务器，它根据从元数据服务器获取的关于虚拟存储卷的元数据信息，在应用服务器本地主机系统内以虚拟磁盘的方式提供对后端存储节点中存储资源的访问接口，如图5所示，存储代理由虚拟磁盘驱动、网络数据传输客户端和用户管理界面三个模块组成，其中虚拟磁盘驱动在功能上相当于逻辑卷管理器，其基本原理为：根据虚拟存储卷巾元数据信息，在数据传输通路中完成从虚拟存储卷地址空间到逻辑存储卷地址空间的线性影射，其中元数据信息组织为一组静态路由转发表，系统目前已支持线性叠加和条带化两种地址影射方式;网络数据传输客户端同时支持3.2小节中所述的各种数据传输协议，它将从虚拟磁盘驱动接收到的本地读写请求打包封装为一组数据传输协议帧，通过存储网络按序发送至存储节点，并由后者完成数据的物理存取;用户管理界面响应来自用户的符种管理操作，如虚拟存储卷的上线/离线、快照创建等，此外它还响应从元数据服务器接收到的各种异步管理命令或消息，如在线扩容通知、快照创建命令等。
4、子系统间的通讯机制
带外控制流，在BW-VSDS系统中我们统一采用GSoap协议实现软件子系统间的带外存储管理通讯，包括以下两方面：
元数据服务器与存储节点：实现对逻辑存储卷的各种管理操作以及对存储节点的状态查询等操作交互;
元数据服务器与应用服务器：实现对虚拟存储卷的各种管理操作以及对系统的状态查询等操作交互，其中前者包括：虚拟存储卷的上线注册、离线注销、元数据获取、在线扩容、快照创建等操作;后者包括：授权虚拟卷的列表查询等操作。
四、数据通路分析
本文首先介绍BW-VSDS系统中端到端的数据传输通路，随后给出针对该数据传输通路的I/O性能评测结果。
1、数据传输通路
当给出了BW-VSDS系统中完整的数据传输通路时，我们以下操作为例简述系统I/O处理的主要流程(假定网络数据传输协议为NBD)：
(1)应用服务器本地文件系统接收到应用程序的读请求，若本地文件系统缓存命中则直接返回，否则将请求转发至虚拟磁盘驱动;
(2)虚拟磁盘驱动首先根据请求的地址偏移在静态路由转发表中查询对应的地址映射项，后者描述了请求数据所在的网络地址<存储节点，逻辑存储卷，地址偏移>;接着根据查询得到的网络地址将请求转发至对应的NBD客户端：
(3)NBD客户端将收到的请求打包封装为NBD数据帧,并发送至后端NBD服务器(注：NBD数据传输链接在虚拟磁盘创建时已预先建好);
(4)NBD服务器将收到数据帧解析还原为初始读请求，并通过系统I/O接口发送给I/O协议栈中的缓存管理模块;
(5)若请求数据在缓存中命中，则请求处理完毕，否则该请求被转发至I/O协议栈中的下一层模块;
(6)在依次经过I/O协议栈中各层处理后，请求最终到达实际存储的物理磁盘;
(7)磁盘控制器在结束读操作处理后，读取的数据沿原路依次返同至请求发起的应用程序;
2、性能评测
本小节对上述数据传输通路进行I/O性能评测，实验环境配置参见表2，xdd是美国明尼苏达大学开发的磁盘性能测试工具，我们对比测试应用服务器中虚拟磁盘在单/双存储节点两种模式下的读/写性能，其中在双节点模式中地址映射采用粒度大小为64KB的条带化方式以最大化存储节点间读写操作的并发度，此外数据传输协议使用NBD。
图7给出了在不同读写粒度下虚拟磁盘的各种顺序读/写性能指标：
图7顺序读写模式下单/双SN的性能对比
(1)双节点模式下虚拟磁盘的读/写吞吐率较单节点最大可提升97.02%/71.53%，相应的，前者平均读/写响应时间最小仅为后者的51.52%/66.67%(见图7(c));
(2)在单节点模式下，应用服务器的读/写网络带宽利用率最低仅为35.40%/51.8l%，而双节点在最低时也高达65.01%/88.87%，近乎是前者的两倍(见图7(d))。
实验数据充分验证了BW-VSDS系统所采用的带外虚拟化技术能够(1)充分发挥单个存储节点的I/O能力;(2)提高网络带宽利用率;(3)在多存储节点模式下可以有效提升应用服务器的I/O性能。
五、应用案例
目前BW-VSDS系统能够提供TB级的存储容量，已实际应用于奥运场馆的视频监控、研究院所的多媒体信息处理以及中小型企业的日常办公系统等领域，此外最新的BWFS系统集成了BW-VSDS系统，整合后的BWFS只提供文件结构的管理和数据存储的组织而逻辑存储空间则由BW-VS-DS提供，BWFS也是国家高性能计算机工程技术中心自主研发的一种分布式并行文件系统，该系统已广泛应用于石油勘探、大规模科学计算、非线性编辑、企业办公和WEB服务等多个领域。
六、总结
本文详细介绍了一种基于带外虚拟化技术的SAN系统，其特点在于采用两级带外虚拟化数据管理模型以充分发挥单个存储节点的I/O能力并释放存储网络的承载能力;采用分布式数据存储管理协议以协同多个存储节点有效实现各种高级数据存储语义;支持多种网络数据传输协议以通用于不同应用环境，该系统目前已经应用于视频监控、信息处理和企业办公等领域。
责任编辑：Lily
评论表单加载中...
