在Windows上将大量小文件存储到更大的文件中


2

假设我有50 GiB的文件,每个文件的重量约为500 KiB。

我的猜测是,例如,拥有5个10 GiB的大文件,其中存档的内容相同,这对于硬盘性能来说会更好。我对么?

NTFS文件系统会有明显的收益吗?

================================================== ===================

最后,我可以使用哪个工具将文件分组在一起,同时保留修改存档内容的能力,只有零或轻微的性能损失?例如,我喜欢TrueCrypt归档,因为在安装归档文件后,它会创建一个我可以无缝使用的驱动器,就好像它是普通驱动器一样。TrueCrypt唯一的问题是我不需要加密/压缩,只需要归档。


...然后使用TrueCrypt,只需将密码设置为“password”(并指示这就是文件名中的内容)。
Randolf Richardson 2011年

但是,即使密码很容易且已知,它仍然会对整个事物进行加密,这对于性能来说会比简单地保留未归档的文件更糟糕。
asmo 2011年

那是个很好的观点。如果TrueCrypt有一个“无加密”选项(当然,“用于测试目的”)肯定会很好。=)
Randolf Richardson 2011年

1
这样做会给您带来第二个问题,即如果您的容器完全损坏/损坏,那么您很可能会丢失所有包含的数据而不是一两个文件。
afrazier 2011年

Answers:


2

在Windows 7中,您可以将.VHD安装为驱动器。这是虚拟机和Windows备份使用的虚拟硬盘格式(仅适用于Windows客户端上的完整PC备份,适用于Windows Server上的所有备份)。没有压缩或加密。普通使用期间的性能下降很小。毕竟,人们正在以这种方式运行整个虚拟机。

NTFS元数据和磁盘搜索可能会导致小文件的大量开销。例如,将每个10 KB以下的10,000个文件复制到USB硬盘驱动器将以每秒约300个文件的速度进行。这是单独复制文件的30秒,而在块中复制它们需要10秒。(内部或eSATA驱动器的差异变得更加明显,因为块吞吐率更高。随机访问SSD非常好,无论哪种方式都无关紧要。)

但是500 KB文件足够大,影响可能有限。你必须对它进行基准测试并看到。


这就是我想要的。最重要的是,正如你所说,它包含在Windows 7中,所以我不需要安装或购买任何东西。谢谢!
asmo 2011年

4

合并文件

如果您经常读取所有数据,按顺序读取数据并且大文件相对未碎片化,我希望单个大文件只能提高性能。

TrueCrypt的

对硬盘性能而言,使用任何类型的压缩或加密都会更糟糕

更新:

根据这个问题的答案,“性能会有所下降,虽然是轻微的。” 答案是指汤姆硬件文章它说

基准测试显示了不同的性能并且高度依赖于处理器,其次是您要加密的驱动器:AES和Twofish在我们的Core 2 Duo笔记本电脑Dell Latitude D610上提供最高的吞吐量。一旦开始组合多种加密算法,例如Twofish和Serpent,性能就会大幅下降。虽然在使用Windows和常用应用程序时这并不明显,但增加系统负载(例如在繁重的多任务处理期间或在进行视频转码等密集型工作负载时)可能会大大降低系统性能。

维基百科的文章说:

当以“合理的方式”使用流行的桌面应用程序,并且只使用单一加密算法时,TrueCrypt对桌面应用程序的性能影响通常不明显,但这取决于应用程序,并且高级用户可能会抱怨。使用快速多核处理器和快速系统驱动器(最好是闪存SSD),使TrueCrypt几乎透明

我不知道有任何证据显示Truecrypt会显着“更好的硬盘性能”。


压缩本身并不一定会伤害任何东西。只要您没有打开任何“可靠”归档选项,随机访问单个文件就不会那么痛苦。
afrazier 2011年

@afrazier:谢谢你指出这一点,我会更新我的答案。
RedGrittyBrick 2011年
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.