Questions tagged «deduplication»

我已经阅读了很多有关为ZFS重复数据删除计划RAM需求的信息。我刚刚升级了文件服务器的RAM，以在ZFS zvols上支持一些非常有限的重复数据删除，因此我无法在其上使用快照和克隆（因为它们是zvols格式化为不同的文件系统），但是将包含很多重复的数据。 我想确保添加的新RAM将支持我打算做的有限重复数据删除。在计划中，我的数字看起来不错，但我想确定。 如何确定实时系统上ZFS重复数据删除表（DDT）的当前大小？我阅读了此邮件列表主题，但不清楚它们如何获得这些数字。（我可以在zdb tank必要时发布输出，但我正在寻找可以帮助他人的通用答案）

21 linux  solaris  zfs  memory-usage  deduplication 

场景： 按照此服务器故障指南，将服务器从旧的Server 2008 R2迁移到新的Server 2016：使用Robocopy进行文件服务器迁移 Robocopy完成后，在Server 2016上为复制的卷启用重复数据删除，然后使用PowerShell手动启动重复数据删除。数小时后，它完成并恢复了大约25％的磁盘空间。 再次运行Robocopy以复制初始副本中可能遗漏的所有内容，作为对新服务器的最终检查。 ....但是Robocopy（从Server 2016运行）不了解重复数据删除，因此会继续删除重复数据删除存储块。 ------------------------------------------------------------------------------- ROBOCOPY :: Robust File Copy for Windows ------------------------------------------------------------------------------- Started : Sunday, July 8, 2018 12:10:02 PM Source : \\SERVER-2008\e$\ Dest : \\SERVER-2016\e$\ Files : *.* Options : *.* /TEE /S /E /COPYALL /PURGE /MIR /ZB /NP /MT:32 /R:1 /W:10 …

13 windows-server-2016  robocopy  corruption  deduplication 

我正在尝试在Server 2012 R2存储空间上进行重复数据删除。昨晚我让它运行了第一个重复数据删除优化，我很高兴地看到它声称减少了340GB。 但是，我知道这太过真实了。在该驱动器上，100％的重复数据删除来自SQL Server备份： 考虑到数据库备份的大小是文件夹的20倍，这似乎是不现实的。举个例子： 它认为13.3GB的备份文件已被重复数据删除为0个字节。当然，当我对其进行测试还原时，该文件实际上不起作用。 更糟的是，该驱动器上还有一个文件夹，其中几乎有TB的数据应该进行大量重复数据删除，但没有删除。 Server 2012 R2重复数据删除能否正常工作？

13 windows-server-2012-r2  deduplication  storage-spaces 

既然Windows Server 2012带有针对NTFS卷的重复数据删除功能，我很难找到有关它的技术细节。我可以从TechNet文档中推断出重复数据删除操作本身是一个异步过程-与SIS Groveler过去的工作方式不同-但实际上没有有关实现的详细信息（使用的算法，所需的资源，甚至是性能信息）注意事项不过是一堆拇指法则建议）。 非常感谢您提供的见解和建议，将其与Solaris的ZFS重复数据删除效率进行比较，以应对一系列情况，将是一个很棒的选择。

12 zfs  windows-server-2012  deduplication 

我在带有12个中线（7200 RPM）SAS驱动器的HP ProLiant DL180 G6上运行的辅助存储服务器上使用Nexentastor。系统具有E5620 CPU和8GB RAM。没有ZIL或L2ARC设备。 上周，我创建了一个750GB的稀疏zvol，它具有dedup和压缩功能，可以通过iSCSI与VMWare ESX主机共享。然后，我创建了Windows 2008文件服务器映像，并将约300GB的用户数据复制到VM。对系统满意后，我将虚拟机移至同一池中的NFS存储。 在NFS数据存储上启动并运行我的VM之后，我决定删除原始的750GB zvol。这样做使系统停滞了。对Nexenta Web界面的访问和NMC暂停。我最终能够得到一个原始的shell。大多数OS操作都很好，但是系统挂在了该zfs destroy -r vol1/filesystem命令上。丑陋。我找到了以下两个OpenSolaris bugzilla条目，并且现在知道该计算机将在未知的时间段内变砖。已经14个小时了，所以我需要一个计划才能重新获得对服务器的访问权限。 http://bugs.opensolaris.org/bugdatabase/view_bug.do?bug_id=6924390 和 http://bugs.opensolaris.org/bugdatabase/view_bug.do;jsessionid=593704962bcbe0743d82aa339988?bug_id=6924824 将来，我可能会采用buzilla解决方法之一提供的建议： Workaround Do not use dedupe, and do not attempt to destroy zvols that had dedupe enabled. 更新：我不得不强制关闭系统电源。重新启动后，系统将停在Importing zfs filesystems。现在已经有2个小时了。

11 nfs  zfs  opensolaris  nexenta  deduplication 

NetApp提供了块级重复数据删除（ASIS）。您是否知道Linux（或OpenSolaris，* BSD）上提供相同功能的任何文件系统（甚至基于FUSE）？ （我对像硬链接这样的虚假重复数据删除不感兴趣）。

10 linux  netapp  deduplication 

我是一家小公司的所有人。我想设计一个新的基础结构，包括新服务器和具有公司范围备份策略的单独备份服务器。 公司中最重要的是SQL Server及其数据库。数据库有10个，但其中只有2个非常重要。前一个8GB，主要是文本数据和数字。第二个约300GB，每月增加16GB，其中包含PDF和GIF。 为了保存存储，当前备份策略包括每周一次完整备份和6个差异。我认为它每周约350GB，每月约1.4TB。 在阅读了有关静默数据损坏的文章之后，我决定尝试使用Nexenta社区版的ZFS。 我的问题：具有重复数据删除功能的ZFS在可靠性方面是否适合存储备份文件，还是我应该考虑进行一些磁带备份还是其他？ 编辑：我知道现在我们无法预测性能，重复数据删除率等，但是我想知道这是否是个好主意。

9 backup  storage  zfs  nexenta  deduplication 

Windows Server 2012计算机上的重复数据删除卷已接近极限。这是一个具有约10TB重复数据的1.3TB驱动器。我们希望将所有这些数据复制到更大的4TB驱动器上。 什么是执行此复制的最佳方法，以使我们仅复制1.3TB的重复数据删除数据，而不是解压缩整个10TB的数据并在另一端重新打包？ 编辑：我尝试了标准的资源管理器文件副本和一个Copy-Item，但似乎都没有dedup意识。我也没有完成任何任务，所以我不能肯定地说这种情况。

8 windows-server-2012  windows  deduplication 

我的意思是，我可以查找字典定义，但是为什么每个人都突然参考虚拟磁带库谈论它？这里有什么“新”内容，所以最近有很多新闻？

8 storage-area-network  tape  deduplication