NTFS的最大理论数据传输吞吐量是多少?


28

最近,我在一个本地用户组会议上,演示者注意到NTFS IO堆栈的最大吞吐量为1 GBps。他通过将两个大文件从同一逻辑卷同时复制到不同的逻辑卷(即[a]是源,[b]是目标1,[c]是目标2)来证实他的主张,并注意到传输速率徘徊在500左右MBps。他重复了几次测试,并指出底层存储子系统是闪存(以确保我们不怀疑存储速度很慢)。

我一直在尝试验证此断言,但是找不到任何记录的文件。我怀疑我在搜索错误的搜索词(“ 1GBps NTFS吞吐量”,“最大NTFS吞吐量”)。我对IO堆栈实际上是否限制为1GBps吞吐量感兴趣。

编辑

需要说明的是:我不相信演示者有意暗示NTFS受到有意限制(如果我也暗示这一点,我感到抱歉)。我认为这暗示,这是文件系统的设计的函数。


1GB / s的速度即使对于闪存驱动器也非常快
TheFiddlerWins 2013年

2
@TheFiddlerWins 1 GB / s!= 1 Gbps
Kermit

1
我同意,但他的问题是“ ... NTFS IO堆栈的最大吞吐量为1 GBps”,据我所知B =字节和b =位
TheFiddlerWins 2013年

1
简单的实验-跨RAM磁盘复制文件吗?这几天不难获得16 * 2 = 32GB RAM。
kizzx2

1
JamesRyan-使用FTP作为传输机制不会突然更改文件系统。不要将SMB与NTFS混淆。
mfinni

Answers:


36

即使假设你是故意的GBps也不是Gbps...

我不知道有任何实际的文件系统throughput limit。文件系统只是围绕如何存储和检索文件的结构。它们使用元数据,结构,命名约定,安全约定等,但是实际的吞吐量限制由基础硬件本身(通常是涉及的许多硬件的组合)定义。

可以比较不同的文件系统以及它们如何影响底层硬件的性能,但这再次不是文件系统直接施加的限制,而是系统总体性能中的更多“变量”。

选择在另一个文件系统上部署一个文件系统通常与底层操作系统是什么,服务器/应用程序将是什么,底层硬件是什么以及因素(例如管理员的专业知识和熟悉程度)有关。

================================================== ===============================

技术资源和引文


优化NTFS

NTFS性能因素

您确定影响NTFS卷性能的许多因素。您选择重要的元素,例如NTFS卷的类型(例如SCSI或IDE),速度(例如磁盘的rpm速度)以及该卷包含的磁盘数量。除了这些重要组件之外,以下因素还严重影响NTFS卷的性能:

  • 集群和分配单元的大小
  • 经常访问的文件的位置和碎片级别,例如主文件表(MFT),目录,包含NTFS元数据的特殊文件,分页文件以及常用的用户数据文件
  • 从头创建NTFS卷还是从现有FAT卷转换它
  • 该卷是否使用NTFS压缩
  • 是否禁用不必要的NTFS行为

在多磁盘卷中使用更快的磁盘和更多驱动器是提高性能的明显方法。其他性能改进方法较为模糊,与NTFS卷的配置细节有关。


现代文件系统中的可伸缩性和性能

不幸的是,不可能对正在讨论的文件系统进行直接的性能比较,因为它们不能在同一平台上全部使用。此外,由于可用数据必然来自不同的硬件平台,因此很难将文件系统的性能特征与运行该文件系统的硬件平台的性能特征区分开。


NTFS优化

新白皮书为调整NTFS卷大小提供了指导

NTFS的新功能

配置NTFS文件系统以提高性能

https://superuser.com/questions/411720/how-does-ntfs-compression-affect-performance

Windows中NTFS压缩的最佳做法


9
即便如此,我仍然可以在所有设备上仅连接802.11g的情况下举行研讨会,并通过演示设备之间的复制来保证NTFS的吞吐量限制为<54Mbps。
TheCleaner

1
可以,但是说“ NTFS有硬性限制”与“ NTFS 在<x>硬件上比ext4 ”是一个很大的不同。他可能会误会,您可能会误解,无论...您去哪里。
TheCleaner

7
同样,NTFS文件系统没有任何这样的限制,但是可以使用给定的NTFS驱动程序。
mfinni

1
不要将其视为限制,而是逻辑上的开销。这也包括驱动程序,因为“设置”限制必须是在驱动程序代码中定义的定义值。但是,我理解您认为进程<-(@mfinni)...在磁盘吞吐量上定义了硬性限制,以处理读/写IO的能力以及传输介质的技术限制。
AngryWombat

1
尼斯补充说,@ TheCleaner
mfinni

10

我非常怀疑是否存在与文件系统相关的数据传输瓶颈,因为文件系统没有规定实施细节,而实施细节会严格限制性能。当然,在特定硬件配置上给定文件系统驱动程序会遇到瓶颈。


我不认为这是有意限制的,但认为这可能是设计的限制
swasheck

感谢您关注从“文件系统”到“驱动程序”的问题。
swasheck

5
您无法提高书籍的速度-您可以提高读者的速度以及读者所依赖的事物。
mfinni

限制和瓶颈是两个不同的方面...由于文件系统可能会导致开销,因此从理论上讲可以创建瓶颈,但不会定义硬设置限制,我相信这是本文的意图。
2013年

7

如果这是真的,我会感到非常惊讶。让我们看一下会降低文件系统速度的所有因素:

  • 物理媒体(磁盘,ssd)
  • 与此媒体(sas,sata,fcal)的连接
  • 碎片化
  • 错误的锁定算法或其他代码问题
  • CPU和内存速度

最常见的限制因素是您的物理媒体。旋转的铁锈很。以这个真正的新磁盘为例,它的最大速度为6 Gbps(即Gbps,而不是GBps!)。当然,使用raid 1设置可以加快速度。当然,您将永远无法实现这一目标,因为寻求会杀死您的表现。那么,让我们使用您说的SSD吗?哦,再看一下6Gb。

然后就是连接:SAS(最快的本地存储)高达6 Gbps,FC高达16 Gbps。

您确定您的演示使用的是高端,最先进的硬件吗?

如果您是:有趣!您可能遇到了第3种情况,并且您的文件系统需要进行一些优化。或者更有可能是您的驱动程序和应用程序耗尽了您的CPU(5)。如果这两个都不是,则您可能遇到了NTFS中的实际性能问题,请向Microsoft报告。

即使这样:这也不是人为的限制,旨在使您的生活更加悲惨。文件系统不是故意限制传输速度,而是受硬件可以提供的限制。


7

我认为没有最大值。但我知道它的速度超过1 GB / s,因为三星的员工使用2009年的24固态硬盘驱动器进行了2121.29 MB / s的读取和2000.195 MB / s的写入, 网址为http://www.youtube.com/watch?v=96dWOEa4Djs

他们认为达到了极限,因为这是SSD插入的控制器卡的总硬件带宽总和。

此页面http://blog.laptopmag.com/faster-than-an-ssd-how-to-turn-extra-memory-into-a-ram-disk显示了使用NTFS格式化的RAM磁盘获得5至7 GB / s。尝试使用http://en.wikipedia.org/wiki/List_of_RAM_drive_software上列出的RAMdisk标题之一


3

比较文件系统限制的唯一逻辑方法是在多个系统之间进行比较,在这些系统中,常量是文件系统,变量是其他因素,例如设备,连接等。使用一个系统比较多次迭代的传输速度只能证明特定系统受到限制,而不是文件系统受到限制。



1

NTFS中没有内置的吞吐量限制。速度的唯一限制是底层硬件的性能特征。


我不认为这是有意限制的,但认为这可能是设计的限制。
swasheck

6
@swasheck我认为,如果您拥有一个两倍的处理器,并且能够以两倍的速度读取磁盘,并且能够以两倍的速度寻找数据,那么设计一个不会以两倍的速度传输数据的文件系统是不可能的。通过更快地使用所有设计,甚至可以使效率最低的设计更快。
2013年
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.