备份设备中总是充斥着大量的冗余数据。为了解决这个问题，节省更多空间，“重复删除”技术便顺理成章地成了人们关注的焦点。采用“重复删除”技术可以将存储的数据缩减为原来的1/20，从而让出更多的备份空间，不仅可以使磁盘上的备份数据保存更长的时间，而且还可以节约离线存储时所需的大量的带宽。
　　
　　重复数据删除技术支持在已有的磁盘设备上存储更多的备份数据。因此采用“重复数据删除”技术可以增加您保存备份数据的时间，减少数据中心的消耗，降低成本。如果您删除重复数据后再通过WAN发送，那么您就能够节省大量的带宽，并且可以取代磁带实现网上离线备份。重复数据删除技术唯一的缺点是备份速度变慢。但块级技术与字节级技术能够并肩合作完成重要数据删除保护任务。
　　
　　块级重复数据删除技术
　　
　　块级重复数据删除技术将数据流分割成块，检查数据块，并判定之前是否碰到相同的数据块(通常对每个数据块执行散列算法，形成数字签名或独特的标识符)。如果数据块是唯一的，就被写入磁盘，其标识符也存入索引中;否则，仅存入指针，指向存储相同数据块的原始位置。这种方法用小容量的指针替代重复的数据块，而不是将重复数据块再次存储，这样就节省了磁盘存储空间。
　　
　　块级技术的缺点为：1)利用散列算法计算独一无二的ID，可能产生错误;2)将唯一的ID存入索引中，当索引扩大，需要磁盘I/O时，检查过程就会变慢(除非控制索引大小，在存储器中完成数据比较工作)。
　　
　　利用散列算法判断重复数据时，散列之间的冲突可能引发错误。MD5、SHA-1等散列算法都是针对检查的数据块，形成唯一的编码。虽然有可能发生散列冲突和数据损坏，但几率较小。
　　
　　字节级重复数据删除
　　
　　从字节级别上分析数据流是重复数据删除的另外一种方法。将新数据流和已存储的数据流挨个比较字节，能够实现更高的精度。使用这种技术的重复数据删除产品具有一个共同点：可能之前已见过流入的数据流，因此就会检查其是否与之前接收的数据相符。
　　
　　采用字节级技术的产品通常能“识别内容”，也就是说，供应商对备份程序的数据流执行了逆向工程，从而了解如何检索文件名、文件种类、日期/时间戳记等信息。在判断重复数据时，这种方法能够减少计算量。警告呢？这种方法通常在后处理阶段发挥作用——备份完成后，判断备份数据是否重复。因此，需要备份整个磁盘的数据，必须具有磁盘缓存，才能执行重复数据删除过程。而且，重复数据删除过程可能仅局限于某个备份组的备份数据流，而不是应用到整个备份组中。
　　
　　完成了重复数据删除过程后，字节级技术能收回磁盘空间。在收回空间之前，应执行一致性检验，以保证删除重复数据以后，仍能满足原始数据的目标。保留最后一次的完全备份，这样恢复过程就不必依赖重构后的数据，加快恢复过程。
　　
　　二者竞争谁更强
　　
　　块级和字节级删除技术都能优化存储容量。针对你的备份环境及其需求，核定执行删除过程的时间、位置和方法，然后再决定选择哪种方法。核定内容还包括：参考那些与你的公司具有相似特征和需求的公司。

　　责任编辑：Cat蕊