通过Windows网络传输大文件的最简单,最快的方法是什么?


14

我有一台运行MS SQL Server的Window Server 2000计算机,该计算机存储了20GB以上的数据。每天将数据库备份到第二个硬盘驱动器。我想将这些备份文件转移到另一台计算机上,以构建另一台测试服务器并进行恢复练习。(备份实际上从未恢复过将近5年。请不要告诉我的老板!)

我无法通过网络传输大文件。我已经尝试过简单的网络复制,apache下载和ftp。当传输的数据量达到2GB时,我尝试的任何方法最终都会失败。我上一次成功传输文件是通过USB连接的外部硬盘驱动器。但是我想定期执行此任务,最好自动执行。

想知道这种情况下最实用的方法是什么?


您要转移到的磁盘上正在使用什么文件系统?
Marko Carter,2009年

NTFS。那有关系吗?
清酒

这很重要,因为目标文件系统可能有2GB的文件大小限制,这可能导致您的错误始终为2GB。但这是NTFS,所以可能不是:)
卢卡斯(Lucas)

是的,我敢打赌,它实际上不是NTFS。
布伦特·奥扎尔

Answers:


16

可预测的2Gb失败听起来像是目标文件系统...都是在NTFS上吗?您是否正在进行任何压缩(过去在2gb边界失败的zip压缩)((Apache正在压缩))

我已经使用robocopy复制了超过20Gb的许多文件(就像其他人所提到的一样),但是我避免使用/ MIR开关,直到您确定可以执行所需的复制为止-因为它将删除文件并进行复制。

SMB一次只能承受一个数据包,因此通常是复制文件的较慢方法-您可以选择使用推入或拉入进行复制。就个人而言,我更喜欢push方法(复制由源启动)。


3
完全同意。2gb是FAT文件系统的常见瓶颈。我会仔细检查以确保您没有尝试复制到FAT文件系统。
布伦特·奥扎尔

我以为那是4 GB?
Journeyman Geek,2010年

10

MS Exchange工具eseutil是一个出色的实用程序,可通过网络快速复制大型文件:

eseutil / y source_file / d dest_file。


+1除了Exchange以外,别无其他想法!我将不得不旋转一下。
squillman

3
technet.microsoft.com/zh-cn/library/aa998673(EXCHG.80).aspx “对Exchange Server数据库实用程序(Eseutil.exe)/ Y复制文件模式进行了优化,可以高效地复制非常大的文件。您可以使用/ Y开关以复制数据库文件或日志文件。但是,该模式不适合用作通用复制实用程序”
Goyuix,2009年

+1,这可能是数据库维护实用程序有史以来最令人敬畏的副作用!
Massimo 2010年

6

我强烈建议使用免费实用程序RichCopy。它是多线程的,可以暂停和继续文件复制操作。我很幸运使用它在服务器之间传输文件。

我使用RichCopy的三个主要技巧

  1. 如果要复制一个或几个大文件,请将“文件复制”属性设置为大于“ 1”。它消耗了资源,但更快地复制了大文件

  2. 如果要复制大量文件,则将“线程号”属性设置为10-10-1。这样可以更快地复制多个文件

  3. 如果通过狡猾的连接进行复制。您可以重新运行下载程序,它将开始查找第一次无法获取的文件。

http://blogs.technet.com/markdea/archive/2009/03/24/richcopy-is-it-the-new-sliced-bread.aspx


5

就文件复制实用程序而言,TeraCopy是一种基于GUI的不错的工具(不是命令行),可以将大量文件排入队列,支持暂停和恢复,可以动态更改其缓冲区大小以优化速度,并可以选择替换Windows资源管理器的默认设置。自己复制/移动。


3

具有/ MIR选项的Robocopy对于在机器之间进行快速而肮脏的备份非常有用。您可以在Windows Server 200X资源工具包中找到robocopy

MIR会将一个目录的内容MIRror传递给另一台服务器。它将仅复制已更改的文件。


2
/ Z也是一个不错的选择。它使您可以恢复失败的副本。这挽救了我在缓慢的网络中的生命
尼克·卡瓦迪亚斯

2

对于大型SQL Server备份文件的重复打乱,最实用的解决方案是使用第三方备份压缩产品或SQL Server 2008 Enterprise Edition的内置备份压缩。

有不同供应商的产品。我为LiteSpeed的制造商Quest Software工作,但是我什么都不卖。您想检查所有产品,然后确定最适合您的需求。这是最近的博客文章,专门讨论LiteSpeed,但是相同的概念也适用于其他产品:

http://blogs.lessthandot.com/index.php/DataMgmt/DBAdmin/title-8


1

您是通过LAN还是通过诸如ADSL之类的WAN连接复制文件?我认为这是WAN,因为20GB不是要通过LAN复制的大文件。我每天都会复制许多此类文件。

如果是WAN连接,那么我的方法是使用Cygwin版本的rsync。

JR


1

我的网络传输失败在2GB左右-事实证明这是一个有故障的NIC。


3
有故障的NIC总是在2GB左右失败?奇怪!
卢卡斯

也许此NIC包含硬件加速的TCP并带有错误?
qbeuek

我不是100%地确定NIC本身有什么问题,但这是eBay的无名小卒-一旦我更换了它,网络传输就大大改善了,而连接性却没有下降。
拉兹洛,


1

有点晚了,但我建议使用第三方备份和还原应用程序选项。我们使用Red Gate SQL备份(www.red-gate.com),它在GUI中具有压缩和备用位置选项。我平均节省了80%的压缩-因此您只能传输实际数据库大小的20%。它还支持加密,因此可以在WAN上使用,而不必担心拦截。

它完全可调度,因此可以按您选择的周期自动运行。

GUI还允许您配置和管理日志传送。

以上提供免费试用版。


0

我没有使用如此大文件的经验,但是您能否将robocopy甚至xcopy与/ Z选项一起使用,声称具有可重启功能。似乎这是用于网络不可靠的大文件副本的。


0

我已经使用了robocopy超过1GB,并且没有问题。ss64.com很好地说明了这些开关。我虽然不能发布链接:-(


0

邪恶的答案..

使用Netcat。可以在此处找到面向Unix的文件传输教程。您可以通过以下方法进一步加快处理速度:

  1. 在发送方进行压缩,然后在目标方进行解压缩。(在命令行中间将相当于gzip的窗口删除。)
  2. 选择通过udp而不是通过tcp发送数据(嘿,谁在乎数据完整性?!!)

除了开玩笑,netcat可能是在LAN上传输大文件的最快方法。由于未完成校验和,因此您可能希望在发送文件之前对文件进行MD5和,然后将其与接收文件的MD5和进行比较。

我以这种方式大量使用了netcat,从未见过它失败,也从未见过它无法使网络最大化。


也许Netcat易于使用和快速使用,但是我并没有获得很高的速度。IIRC它几乎不能达到2-3 MB / s。谈到速度,它太烂了。
2009年

我感到即将进行一些性能测试...我将看看是否可以找到时间在本地家庭网络上比较nfs,cifs,ftp和nc。
马修

如果netcat仅给您2-3MB / s,则您的系统已损坏。ftp和netcat的性能应相同。NFS和CIF通常也大致相同。
贾斯汀2010年

0

可能值得将文件分成较小的块作为短期解决方案,直到您可以查明问题为止。过去,我们遇到过类似的问题,而ftp一直对我们有用


0

如果这些是您要复制的SQL .bak文件,我强烈建议您执行以下操作之一以在复制之前缩小文件:

  • 在运行备份之前,请收缩数据库并截断日志。要么
  • 复制之前先压缩.bak文件。如果您不使用数据和日志文件中已分配的全部空间,则SQL .bak文件将向下压缩。

可能不需要复制大文件的替代方法。


我已经尝试过了。不幸的是,帮助不多。
清酒

出于好奇,然后...您将自动增长设置为硬字节值还是%?还是您甚至将其设置为自动增长?
squillman

0

我认为没有问题可以更快地传输是您的问题,请仔细检查以确保您的目标文件系统不是FAT,就像其他人所说的那样。另外,请确保两侧的NIC都有更新的驱动程序,并且其他情况下不会出现不稳定的情况。

话虽这么说,您是要移动许多小文件还是仅移动一些大文件?尝试移动数百万个小文件时,我已经看到RAID控制器问题。

我认为一旦找出导致故障的原因,自动化此操作就不会出现问题。它可能有助于列出有关硬件以及事件查看器中可能看到的任何相关错误的更多详细信息。


0

您是否尝试过使用eSATA连接到外部硬盘驱动器?连接速度很快(3 GB!),应该能够立即传输该文件!

服务器上的网卡以10/100或10/100/1000的速度是多少?处理文件时,服务器网络带宽和交换机的外观如何?复制时,目标位置(服务器的网络带宽)是什么样的?您是否尝试将2个NIC组合在一起?网卡驱动程序是否最新?BIOS是否已更新?

文件传输可能有很多问题。确保硬件驱动程序和BIOS是最新的,确实可以有所作为。

-JFV


0

最简单,最快的方法:外部USB磁盘和移动设备。

我的方式:使用rsync。如果复制失败,请重新启动它,然后它将在它离开的地方取走。


0

要检查的另一件事是查看是否在目标服务器上设置了配额服务。我认为它使用2 GB作为每个用户的默认配额。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.