我从事电影制作工作,需要非常快速地访问非常大的原始素材文件。我目前正在将eSATA 6Gbps扩展坞用于内部硬盘驱动器,其运行速度与驱动器的速度一样快。
如果我要使用服务器并通过网络连接到我的工作站,那么什么(相对负担得起的)技术可以使我接近或超过驱动器速度?
我从事电影制作工作,需要非常快速地访问非常大的原始素材文件。我目前正在将eSATA 6Gbps扩展坞用于内部硬盘驱动器,其运行速度与驱动器的速度一样快。
如果我要使用服务器并通过网络连接到我的工作站,那么什么(相对负担得起的)技术可以使我接近或超过驱动器速度?
Answers:
从2017年上半年在线获取的信息来看,最快的SATA HDD看起来最大速度约为220 MB /秒,即1.760 Gigabit /秒。
因此,如果您只是想打败单个驱动器的速度,并且出于对大容量视频文件的每TB成本考虑而仅限于HDD,那么10 Gb以太网就足够了。
顺便提一句,请注意,Thunderbolt Networking也为10 Gigabit / sec,因此,如果您已经有Thunderbolt端口,则可以尝试一下。可以想象,它可以击败6个千兆eSATA 3端口,尽管我不确定,因为eSATA特定于存储,而通过以太网进行存储则有更多开销。还要注意,Thunderbolt是台式机总线。它只能到达几米,而不是10千兆以太网可以处理的100m。因此,尽管您在权衡各种选择时可能会对Thunderbolt进行试验和制作原型感兴趣,但除非您希望将所有工作站和磁盘在一张大桌子上保持背对背连接,否则它可能不是适合您的长期解决方案。
因此,这适用于单个HDD。但是,如果将这些驱动器一起RAID,以便每次读取或写入都分散到多个驱动器中,则可以获得比单个驱动器性能更好的性能。此外,根据您的预算,您可以将PCIe / M.2 NVME SSD放入PC充当服务器/ NAS,并且可以实现极高的快速存储性能(大约3.4 Gigabyte /秒== 27 Gigabit /秒)驾驶。
在这种情况下,您可能希望查看比10 Gb以太网更快的产品,但在网上浏览时,价格似乎会飞跃地超过10 Gb以太网。因此,您可能希望查看跨多个10Gigabit链路的链路聚合。如果您不介意在eBay上购买二手设备所带来的麻烦,我还曾在网上看到一些使用网络设备的轶事,例如可以在eBay上以便宜的价格购买二手40Gbps InfiniBand东西。
如果您坚持使用SATA磁盘,则在服务器上实施10Gb以太网并构建合理大小的RAID10将使您获得比单个SATA磁盘明显的性能提升。这将是一笔值得的投资,因为您可以根据需要在多个工作站之间共享服务器,并在将来通过添加交换机来添加服务器。您需要使用Cat-6以太网电缆,因为Cat-5E不会削减它-别忘了将此费用添加到您的计算中。您还可以添加SSD作为缓存,以进一步提高系统速度。由于您正在使用录像,因此我假设您需要大量的存储空间,而仅使用SSD进行构建将非常昂贵。
您可以从Dell或HP购买预制的机架式服务器并使用硬件RAID卡,或者,如果您更多是硬件人员,则可以从Supermicro购买更便宜的机箱,并使用软件RAID自行构建存储计算机。 Windows或Linux。涉及RAID1时,硬件RAID通常会更快,因为软件必须依次写入每个磁盘,并等待写入完成才能进行下一个操作。RAID卡通常可以并行写入两个磁盘,并缓存写入操作,从而将控制权立即返回给OS。请注意,尽管RAID0会更快,但您没有冗余,并且单个驱动器故障将导致完全数据丢失。当您要保留数据时,切勿使用RAID0。
在高端,您有存储区域网络(SAN),但这些存储区域网络旨在允许并行运行来自大量单独客户端的许多操作;这样做的好处是,对于少数连接的计算机,吞吐量非常高,但是对于您的需求而言可能会过高,而且非常昂贵。在低端,您有其他人提到的网络连接存储(NAS)设备,但是尽管比完整的服务器简单得多,但我不建议您使用它们,因为NAS经常是黑匣子。它们旨在为大多数用户即插即用,因此您对操作系统几乎没有控制权-我只需要退回我为客户办公室购买的小型NAS,因为一天使用后它变得不稳定。
构建服务器的另一个优点是,您可以将所有素材集中在一个地方,这使得实用且定期备份相对容易。永远不要忽略您的备份策略;有一天,您将需要依靠它!
10gbe的灵活性和易配置性无与伦比,但是SAS令人惊讶的是它本身可以联网:
对于少数不需要一次从多台计算机写入卷的工作站(n <8),SAS可以很好地工作。借助Tyan JBOD(1,500美元)和LSI HBA(400美元),我们可以获得3,400 MB / s(27 Gbps)的持续传输到SSD。JBOD具有一个内部交换机,该交换机具有到HBA的3个上行链路,但是SAS交换机可用于更高的端口数。
这是对其中一卷的速度测试:
在内部,我们将此解决方案与运行Windows Storage Server的群集Windows Server一起使用,该存储空间已分配给使用10gbe的客户端。
https://www.newegg.com/Product/Product.aspx?Item=N82E16820147593&cm_re=samsung_m.2- -20-147-593--产品
首先,使用正确主板的M.2 SSD可以达到2gb-4gb / s,甚至可能更高。RAID将其中的一些结合在一起,您的速度将更高。
组合多个10gb NIC可以使您接近原始速度。
超过10克的钱更多。
最便宜的方法是使用链路聚合(IE运行N条电缆,通常为2条)而不是一条。
这样,便宜的1Gb链接将变成2Gb链接。
显然,这意味着单个客户端服务器至少需要4个端口。