摘要：重复数据删除功能可以集成在软件或者专用的硬件装置里，每一种存在形式都有它的优点和不足，本文将对各种去重方案做逐一的点评，本文介绍基于硬件和软件的去重。

    重复数据删除对数据存储专业人员来说是2009年最热门的话题。它不再是高精尖的技术，而其成本节省对预算有限而数据又在迅速增长的企业来说非常诱人。作为回应，存储厂商正在推出更多的重复数据删除产品和方案来降低数据存储点的大小。

    结果是，重复数据删除遵循了IT业界常有的模式：产生一个新技术来满足由来已久的需求，但是当其应用逐渐拓展的时候，又提出了怎样才能更好地利用这一技术以及它将如何影响周遭环境的问题。幸运的是，有足够多经验丰富的存储专业人士正在使用重复数据删除来检验所有这些方式的优缺点。

    “很多厂商都将重复数据删除作为一个功能推向市场，更多的厂商将要推出”ESG分析师Lauren Whitehouse说“客户面临着一片未知的丛林，但是也存在很多新的困惑。” 

    对于用户来说，用重复数据删除技术来应对数据快速增长的问题，是一个极具吸引力的解决方案。但是，您是否想过，自己的IT环境真的适合采用重复数据删除吗？

    重复数据删除功能可以集成在软件或者专用的硬件装置里，每一种存在形式都有它的优点和不足，本文将对各种去重方案做逐一的点评，同时简要阐述实施重复数据删除时需要注意的问题。 

    基于硬件的重复数据删除技术

    基于硬件的重复数据删除有两种模式：in-band或out-of-band。in-band模式的特点是直接降低写入存储的数据量，它将“去重”和“写入”操作合并在一起执行，所以这种去重方法看起来很有效。但在实际的处理过称中，合并执行需要更多的系统资源，也可能导致备份时间有所延长。

    Out-of-band模式是在数据写入存储空间之后再进行去重处理，这种方式的特点决定了它不会导致备份时间的延长，也不用过分担心备份服务器和存储系统的CPU资源会成为瓶颈。不过，out-of-band模式在去重过程中会使用更多的磁盘空间，需要的时间也比单纯做备份更长。另外一个问题是磁盘争用，如果用户试图在去重处理期间访问存储设备，会感觉到性能有明显的降低。

    基于硬件的重复数据删除不能像软件一样在源端去重以便节约网络带宽，但与基于软件的产品相比，硬件装置的压缩级别往往更高，实施和维护成本也较低。通常，基于硬件的数据去重装置代表着高性能、高可扩展性、以及更简单的部署方式。备份软件一般会把这类专用的硬件视为普通磁盘存储系统，完全不需要知道硬件内部如何进行数据的去重处理。

    很多存储系统都集成了硬件去重。举例来说，VTL（虚拟磁带库）往往带有重复数据删除功能。与磁带介质相比，VTL借助磁盘的性能优势大幅提升了备份的速度，而有了去重功能之后，对磁盘容量的需求也降低到了更小的程度。目前，多数基于VTL的去重案例都采用了out-of-band模式，备份数据在VTL设备中做集中的去重处理，可以得到非常理想的去重比率。Out-of-band模式的缺点是不具有实时性，针对这一问题，一些VTL厂商在设备中还提供了in-band处理功能，即备份数据进入设备之后，立即开始做在线的去重处理。

    基于软件的重复数据删除技术

    重复数据删除功能一般集成在某些存储管理软件（此类软件大多安装在专用的服务器上）、备份软件或归档软件产品中。基于软件的去重技术在部署成本方面通常比使用专用的硬件要低一些，而且在物理网络方面也不需要做很多调整。但是，软件产品的安装部署和使用维护方面相对复杂，试想，如果用一套全新的备份软件完全替代旧的版本，需要对系统设置、任务计划和报警阀值等配置都重做一遍，该是多么麻烦的事情。此外，在服务器端打开备份软件的去重功能，会增加系统的处理负担，而服务器也必须有更高的硬件配置才可以满足这些开销的需要。

    EMC的Avamar是基于软件去重的代表。Avamar是一个部署在生产服务器（备份源端）上，使用SHA – 1哈希算法的in-band（带内）去重产品。Avamar采用了中央管理的体系结构，在中心节点检查整个部署环境中的数据变化，但实际去重处理则分散在每个客户端（服务器上）执行，数据经过去重之后，再通过网络传送到备份存储设备中。现在Avamar还是一个独立的产品，EMC计划在不久的未来将Avamar技术纳入其备份软件和虚拟磁带库（VTL）产品体系中。

    赛门铁克也有自己的软件去重方案，在其高端备份产品Veritas NetBackup中有一个叫做PureDisk的模块，利用私有的哈希算法在主机端实现inline（带内）模式的数据去重。其最新的NetBackup PureDisk 6.2支持将磁带介质做为存储目标，也支持Backup Reporter备份监测报告工具。NetBackup 6.5备份软件是一个非常灵活的产品，除了自身提供重复数据删除支持以外，也有很好的集成能力，支持VTL和第三方的数据去重设备。

    另一个采用软件去重技术的重要厂商是Sepaton，Sepaton S2100-ES2虚拟磁带库产品的核心软件是DeltaSotr，其中有一个支持重复数据删除的选项。DeltaSotr像PureDisk一样，采用私有的哈希算法，但不同的是Sepaton的方案在目标端 — 即S2100 VTL上做去重处理，因此该方案并不会减少网络上的流量。与其他厂商比较，Sepaton的特色在于：通常的设计中数据只有第一次是完全写，如果出现重复，会以指针形式指向第一个完全写入的版本；而DeltaSotr的做法是完整写入最新的数据，以前写入的重复版本则替换成指针指向最新的写入位置。

    基于软件的重复数据删除（如下表）通常为客户提供更多的灵活性，而且相对于基于硬件的方案，它能被用来向IT环境中的更多部门进行扩展。