如何测量磁盘速度以及什么是快速的?1500 GB的副本需要多长时间?


11

磁盘速度如何测量?每秒读取的是Mbit还是Mbyte?今天什么是平均水平,什么是快速的?什么是行业的快速?

假设有人说要复制1500 GB的文件(例如数据库文件)要花很长时间,在专业系统上要花多长时间,以及如何考虑硬盘的速度来计算出来?

Answers:


19

磁盘速度通常以英寸表示。

  • 每分钟转数的转速(最低转速为4200rpm,然后为5400、7200、10k和15k-不适用于SSD或闪存)。
  • 接口速度是磁盘电子产品可以尝试将数据发送到磁盘控制器的最快速度(范围从ATA的100MBps到SATA的150/300/600 Mbps,光纤通道的2/4/8/16 Gbps甚至PCIe速度)。基于闪存的存储,例如FusionIO)。
  • 搜索时间只是开始读取或写入磁盘的特定扇区所花费的时间-磁盘的时间范围可能从3到15毫秒不等,而固态硬盘/闪存磁盘的时间则占很小的一部分。
  • 然后我们达到您可以预期的实际速度,您应该关心四种速度;顺序读取(读取非常大的数据块),顺序写入(与写入相同),随机读取(从整个磁盘获取数据)和随机写入。这些差异很大,但对于旋转磁盘,可以期望从25MBps到150MBps的范围进行顺序读写,而从3MBps到50Mps的范围进行随机读写。对于顺序操作,SSD通常在200MBps的范围内,对于随机操作,通常要少一些。FusionIO可以轻松达到所有人的1GBps,但通常又小又昂贵。

如您所见,没有真正的平均值,如果您想购买什么建议,请随时与我们联系,并提供尽可能多的信息 -其中应包括预算,应用程序类型,数据集大小,用户群,硬件/操作系统以及您认为有用的其他内容。

至于您的1.5TB副本,那么,如果要对连接了USB 2的7200rpm SATA磁盘执行此操作,则至少应达到30MBps-40MBps,否则整个1.5TB可能要花10个小时左右。如果这是典型的专业DAS / SAN系统,我希望其速度大约为100MBps,这大约需要3个小时。

希望这对您有所帮助,哦,只是澄清一下,MB =兆字节,Mb是兆位。


8

这些计算涉及许多变量。现实世界中的磁盘系统具有很多相互依赖性。仅在一台计算机上:

  • 驱动器本身的实际额定速度(通常为RPM,5200、7200、10K,15K)
  • 正在使用的文件系统
  • 是否使用RAID系统
    • 如果是,则表示RAID卡的性能
    • RAID类型
  • 使用的操作系统
  • 读取和写入操作具有完全不同的性能特征
  • 操作的读写率
  • 对于顺序操作,存储的碎片因子

如您所见,磁盘本身的速度只是众多因素之一。这是一个较大的因素,但仍然是其中之一。如果该1.5TB副本全部位于同一磁盘上,则该磁盘(可能有95%)正在执行100%的随机读/写性能,这通常会导致性能最差。如果副本是从一个磁盘复制到另一个磁盘,并且数据是100%连续的,并且目标磁盘完全空了,那么使用该磁盘子系统应该可以实现最快的性能。现实世界的表现将介于这两个极端之间。

如果要在两个单独的服务器之间复制,则涉及的因素甚至更多。

我有一个工作中的存储阵列,可以在进行大量顺序操作时使3Gb(gigaBIT)SAS通道饱和。如果我有6Gb SAS,它也可能非常接近饱和。对于随机I / O,该特定系统根据操作系统的不同而有很大不同(例如,OpenSolaris的随机I / O最差,而Linux XFS的I / O则为3)。

太多的变量无法确定性地回答这个问题。


3

1.5TB数据复制需要花费多长时间,在很大程度上取决于数据类型。如果您有1,500个1GB文件,则可能只需要几个小时,但如果您有10亿个半1KB文件,则可能需要数天。

这是因为光盘上有两个相互竞争的规范:吞吐量和平均访问时间。具有100MB / sec吞吐量和10ms访问时间的传统光盘是相当普遍的。如果可以顺序传输数据,则可以达到100MB /秒。但是,如果您需要跳到另一个地方,则需要10毫秒。如果您一直在进行流传输,则可能需要花费1MB的数据才能跳转到另一个位置。

创建文件可能需要花费很多时间,因此制作1KB的文件可能会“消耗”多达数MB的数据流。

因此,在某些情况下,对块设备进行原始光盘复制比通过rsync之类的文件系统复制要好。如果您有很多文件,在文件系统中已满50%或更多的情况下,通常最好还是花点时间通过“ dd”复制整个块设备。当然,在挂载文件系统时不能执行此操作,因此也有缺点。

SSD的访问时间快100倍左右,因此可以帮助缓解这种情况,但是MLC SSD驱动器根据预擦除块池的可用性而具有复杂的访问问题。SLC SSD可以帮助您。

带有内置缓存的RAID控制器可以帮助进行查找,例如flashcache内核模块之类的功能也可以帮助您通过SSD缓存块设备。

RAID系统可以进行多个并行搜索,从而有效地减少了平均访问时间,还可以并行化以提高吞吐量。但是您的整体性能通常取决于所涉及的文件数量。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.