机房360首页
当前位置:首页 » 云存储 » 大规模存储系统服务质量保证技术

大规模存储系统服务质量保证技术

来源:机房360 作者:GOCN编辑 更新时间:2013-2-6 17:55:21

摘要:由于应用需求的驱动,大规模归档存储系统越来越引起了工业界和学术界的广泛关注,并在社会、生产、生活中扮演了越来越重要的角色。另外,技术的发展也起到巨大的推动作用。茬过去十年间,网络存储将网络技术与存储技术融合在一起,SAN、NAS、IP存储及OSD是网络存储中具有代表性的几种技术。对减少管理开销、增加数据共享及获得更好的存储利用率的持续需求。

  由于应用需求的驱动,大规模归档存储系统越来越引起了工业界和学术界的广泛关注,并在社会、生产、生活中扮演了越来越重要的角色。另外,技术的发展也起到巨大的推动作用。茬过去十年间,网络存储将网络技术与存储技术融合在一起,SAN、NAS、IP存储及OSD是网络存储中具有代表性的几种技术。对减少管理开销、增加数据共享及获得更好的存储利用率的持续需求,使大规模归档存储系统常常是一个分布式共享网络存储系统,符储设备通过网络统一和互连,客户通过网络(通常是IP网络)访问存储设备,而存储访问的请求可能来自不同地区的不同客户。

  大规模归档存储系统需要服务不同的应用和用户,其服务质量需求往往是多样化的。因此在大规模归档存储系统中,服务质最保证是一个重要方面。另外,大规模分布式存储系统融合了网络技术和存储技术,极大地拓展了传统网络存储子系统的应用范围,但为保证其服务质量也需要考虑网络和存储两个方面的影响,为Qos保证增加了更多的变化因素。通过对典型的网络存储系统进行观察和分忻,得到以下一些结论。

  (1)服务质量需求应该是端到端 (end-to-end) 的。以往的网络服务质量相关研究[135]及存储子系统的服务质量相关研究[136]~[141],在保证服务质量时往往只考虑网络通路或存储子系统对QoS的影响因素。而对于一个典型的分布式共享存储系统来说,一个请求需要遍历客户端的路径,通过网络通路到达存储子系统,在存储子系统中经过相应处理后,再经过网络通路最后返回给客户端。所以分布式共享存储系统的QoS既包括网络的各组件,也包括存储子系统的各组件。

  (2)各种服务的质量需求是有区别的。不同的客户或不同的应用可能会有不同的服务质最需求。例如,流媒体应用 (Stieaming Video)要求保证一定的带宽,交互式应用要求响应时间能够得到保证,而文件传输应用则对系统吞吐量有相应的要求。

  (3)数据访问模式和特性(Data Access Characteristics)也可能是有很大不同的。数据访问模式、请求大小、请求到达速度在不同应用下是不相同的。特别需要注意的是,在这些各种各样的话求中间,有一类大请求(Large Request),这类大请求常常是由数据密集型应用产生的,如文件传输、科学仿真、数字图书馆访问等。另外,由于存储设备访间在寻道时间、旋转时间等方面的开销,客户文件系统通常把邻近的请求合并为大请求,以充分利用磁盘设备“大读大写"的有效性。此外,对于网络传输代价来说,大的数据最传输往往更有效率。

  (4)每个客户端或会话都有其自身的网络条件或特性。每个客户需要创建客户端(Client)与目的端(Target)的连接会话(Session)。存储访问命令、数据和响应在相应的会话中进行。每一个会话对应特定的底层网络传输路径。不同地理位置的不同客户会有不同的网络特性,如可利用的网络带宽、网络传输延迟等。

  基于以上的观察与分忻,提出一个针对大规模归档存储系统的QoS调度方案,即网络相关的服务质最集成调度 (Network Aware Integrated QoS Scheduling NAIQS)。NAIQS的主要思想为:根据客户端会话的网络条件和特性,分割大请求成为合适的相对更小的请求,以适应应用对服务质最的要求、当前会话的网络条件和共享存储系统的资源使用情况:并且基于请求的紧急程度和当前的工作负荷条件进行调度请求。该QoS方案的优点包括以下几个方面。

  (1)平滑会话通道中的数据传输。通过分割大请求,一个会话所接收的数据变得没那么突变,这将会使网络通道受益,从而使得网络流虽更加平稳和缓和。

  (2)减少资源需求,如存储服务器缓冲的使用。因为来自于远端客户的请求 (往往需要穿越广域网),其拥有的网络带宽相对于存储服务器所能提供的访问带宽而言,是非常有限的。特别是对于大请求,在数据传输期间,往往需要消耗很大容量的存储服务器内存缓冲区,而后者是很稀缺的资源。

  (3)允许紧怠请求优先抢占。通常情况下,存储请求是没有优先级的,即一且一个请求被递交,则随后的请求需要等待直到该请求被执行完毕。而在大规模归档存储系统中, 由于其体系结构是分布式共享存储系统,因此不同的应用可能要求不同的带宽、请求优先 级等。为了满足服务质量需求,一个后到的请求可能需要优先于当前的请求被处理,因此, 分割大请求会提供对紧急请求优先处理的机会。

  我们实现了基于上述Qos调度策略的存储原型系统,并且验证了该方案的有效性。结果表明,这种系统能够提供对高优先权请求更好的支持,而且有更好的缓冲空间利用率,以及在中等负载条件下更低的开销。

  责任编辑:GOCN

本文地址:http://www.jifang360.com/news/201326/n921145085.html 网友评论: 阅读次数:
版权声明:凡本站原创文章,未经授权,禁止转载,否则追究法律责任。
  • 上一篇:存储流水线
  • 相关评论
    正在加载评论列表...
    评论表单加载中...
    • 我要分享
    更多
    推荐图片