Linux上的块级重复数据删除

NetApp提供了块级重复数据删除（ASIS）。您是否知道Linux（或OpenSolaris，* BSD）上提供相同功能的任何文件系统（甚至基于FUSE）？

（我对像硬链接这样的虚假重复数据删除不感兴趣）。

检查用于Linux的lessFS，重复数据删除文件系统。它仍处于测试阶段，但您可以尝试一下：

http://www.lessfs.com/

问候，

MV

重复数据删除即将在OpenSolaris上用于ZFS，但是该功能当前不可用。

它是在去年冬天由Jeff Bonwick和Bill Moore制作的原型，并且他们正在今年夏天进行集成。因此，它应该在OpenSolaris的下一发行版中可用，或者如果您想使用development分支，则应该在更早的版本中可用。

对于可能不熟悉重复数据删除的人们来说，这是一种在文件（或块，我想）级别分析数据，并用较小的令牌替换整个文件系统中相同文件/块的技术。这样的效果是大大缩小了磁盘上的有效大小。它可以被认为是写时复制的一种形式。阅读有关它的Wiki页面。

我听说过在Linux中没有文件系统可以执行dedup，文件或块级别。尽管需要大量处理器，但这样的野兽还是很方便的。

现在，OpenSolaris（内部版本128a和更高版本）上的ZFS可以使用重复数据删除。

一年后，这里有一个称为Epitome的OpenBSD解决方案：http ://www.peereboom.us/epitome/ 。只要提供自由许可，它就很可能进入Linux内核。

我刚刚发布了一个我一直在从事的项目，该项目可以进行重复数据删除。如果您被困在这里，可以在这里看看。它基于保险丝并且在linux上运行。

我不知道dedup for Linux的任何免费实现。我已经看到一些存储供应商建议将HSM（分层存储管理）系统与可重复使用的VTL（虚拟存储库）一起使用。

您还可以考虑使用类似于Occarina的系统，该系统不透明，但可以提供比dedup更好的结果。

所以...关于Linux上的重复数据删除没有消息吗？opendedup可能是一个选择，但是给它运行的Java平台，我不想头痛。我已经尝试过了，但是我对这台Java机器和其他机器的存储响应时间和安全性要求都不高。

在Linux下，文件系统BTRFS和ZFS上具有重复数据删除选项。BTRFS是本机在Linux下开发的，并具有脱机重复数据删除工具。我不是在考虑“离线”，您必须卸载fs。离线意味着不会对主动写入的数据进行重复数据删除。但是稍后您运行了用于存储重复数据删除思想的工具。实际上，该工具可能处于测试版中。另一种方法是在ZFS内部。可以作为FUSE使用，并且本机可用：http: //zfsonlinux.org/ 。这样做会进行在线重复数据删除，不幸的是，这会减慢写入速度，因为所有操作都必须即时进行。您可以在线开启和关闭此行为。取消重复数据删除后，所有重复数据删除的数据仍将存储为重复数据删除。新写入将被存储为“重复”。如果您希望将来对这些数据进行重复数据删除，则必须打开重复数据删除并重写所有“已重复”的文件。

请参阅该页面上的文档。为了加快写入和读取速度，您可以将更快的设备添加到存储池中（特别是SDD驱动器或更快的闪存USB，请注意设备的可靠性）。

DRBD就是这样做的，并且确实做到了！可以做主/从或主/主:-)