Questions tagged «file-transfer»

16
在本地复制大型目录树？cp还是rsync？
我必须复制一个大目录树，大约1.8 TB。都是本地的。出于习惯我会用rsync，但是我想知道是否有很多意义，是否应该使用cp。 我担心权限和uid / gid，因为它们必须保留在副本中（我知道rsync会这样做）。以及符号链接之类的东西。 目的地是空的，因此我不必担心有条件地更新某些文件。这些都是本地磁盘，因此我不必担心ssh或网络。 我之所以会不喜欢rsync，是因为rsync可能做的比我需要的更多。rsync校验和文件。我不需要它，并且担心它可能需要比cp更长的时间。 那么你估计，rsync还是cp？
4
robocopy传输文件而不是文件夹
我试图用来robocopy将单个文件从一个位置传输到另一个位置，但robocopy似乎认为我一直在指定文件夹。这是一个例子： robocopy "c:\transfer_this.txt" "z:\transferred.txt" 但是我却得到了这个错误： 2009/08/11 15:21:57 ERROR 123 (0x0000007B) Accessing Source Directory c:\transfer_this.txt\ （请注意的\末尾transfer_this.txt） 但是，如果我将其视为整个文件夹： robocopy "c:\folder" "z:\folder" 它可以工作，但随后我必须传输文件夹中的所有内容。 如何仅使用传输单个文件robocopy？
12
从美国将10 TB的文件传输到英国数据中心
我正在将服务器从美国从一个数据中心迁移到英国。我的主人说我应该能够达到每秒11兆字节。 两端均为Windows Server 2008。 我的平均文件大小约为100 MB，数据分为五个2 TB驱动器。 传输这些文件的推荐方法是什么？ 的FTP 中小企业 Rsync / Robocopy 其他？ 我不太担心安全性，因为这些反正都是公共文件，但是我只想要一个可以提高11 MB / s完整传输速率的解决方案，以最大程度地减少总传输时间。
27
如何在两个服务器之间快速复制大量文件
我需要在两个服务之间传送大量的mp3（Ubuntu）。我所说的巨大是指大约一百万个文件，平均30万个文件。我尝试过，scp但要花大约一周的时间。（大约500 KB / s）如果通过HTTP传输单个文件，则我的传输速度为9-10 MB / s，但我不知道如何传输所有文件。 有没有办法快速转移所有人？
11
传输15TB的小文件
我正在将数据从一台服务器归档到另一台服务器。最初我开始rsync工作。它只花了2周的时间就建立了仅用于5 TB数据的文件列表，又花了一周的时间来传输1 TB的数据。 然后我不得不取消工作，因为我们需要在新服务器上停机。 我们已经同意将其压缩，因为我们可能不需要再次访问它。我当时正在考虑将其分成500 GB的块。在我完成tar之后，我将复制整个过程ssh。我正在使用tar，pigz但仍然太慢。 有更好的方法吗？我认为两个服务器都在Redhat上。旧服务器是Ext4，新服务器是XFS。 文件大小从几kb到几mb不等，5TB中有2400万个jpeg。因此，我估计15TB大约需要60-80百万。 编辑：与rsync，nc，tar，mbuffer和Pigz玩了几天后。瓶颈将是磁盘IO。由于数据跨500个SAS磁盘和约2.5亿jpeg数据条带化。但是，现在我了解了以后可以使用的所有这些好工具。
8
将55GB图像传输到新服务器的最快方法
我目前有两台CentOS服务器。我需要知道将图像目录“ tar”起来并将其SCP覆盖的最快方式是什么？ 这是我刚刚建议的最快方法，因为焦油永远消耗着……我运行了命令： tar cvf imagesbackup.tar images 我打算把它结束。 让我知道是否有更快的方法。我对两台计算机都有远程/ SSH访问权限。
64 file-transfer  scp  tar 
16
最喜欢的rsync提示和技巧
我使用rsync的越多，我就越意识到这是瑞士军刀进行文件传输。有很多选择。我最近发现，可以--remove-source-files复制文件，它会从源文件中删除文件，这使它更具移动性，而不是复制程序。:) 您最喜欢rsync的小技巧和窍门是什么？
1
rsync-排除文件超过一定大小？
我正在将台式机备份到远程计算机。我基本上是这样做的，rsync -a ~ example.com:backup/但是有很多大文件，例如Wikipedia转储等。我非常关心大多数文件，例如firefox cookie文件或.bashrc。是否有对rsync的调用，该调用将排除超过特定大小的文件？这样，我可以先复制所有小于10MB的文件，然后再复制所有文件。这样，我可以快速备份最重要的文件，然后再备份其他所有文件。
5
通过高速，高延迟的WAN链接传输单个大文件的最佳方法是什么？
已锁定。已禁用对此问题的评论，但它仍在接受新的答案和其他交互方式。了解更多。 这看起来与这一个，但它是有所不同的。 两个公司站点之间存在此WAN链接，我们需要传输一个非常大的文件（Oracle转储，约160 GB）。 我们已经拥有完整的100 Mbps带宽（经过测试），但是由于TCP的工作方式（ACK等），看起来单个TCP连接无法使其达到最大。我们使用iperf测试了该链接，当增加TCP窗口大小时，结果发生了巨大变化：使用基本设置，我们可以达到〜5 Mbps的吞吐量，而使用更大的WS则可以达到〜45 Mbps，但仅此而已。网络延迟约为10毫秒。 出于好奇，我们使用多个连接运行了iperf，我们发现，当运行其中四个连接时，它们确实可以达到〜25 Mbps的速度，从而填满了所有可用带宽；因此，关键在于执行多个同时传输。 使用FTP，情况变得更糟：即使使用优化的TCP设置（高窗口大小，最大MTU等），单次传输也无法获得超过20 Mbps的速度。我们尝试同时通过FTP传输一些大文件，的确比传输单个文件好很多。但是罪魁祸首变成了磁盘I / O，因为很快就会从同一磁盘瓶颈中读取和写入四个大文件；同样，我们似乎无法将单个大文件拆分为较小的文件，然后将其合并，至少在可接受的时间内（显然，我们不能花时间将文件拼接/合并回去）。转移）。 理想的解决方案是使用多线程工具，该工具可以同时传输文件的各个块。像eMule或BitTorrent这样的点对点程序已经可以执行，但是从单个源到单个目标。理想情况下，该工具将允许我们选择要使用的并行连接数，并且当然可以优化磁盘I / O，以免在文件的各个部分之间疯狂地跳转。 有人知道这样的工具吗？ 或者，有人可以提出更好的解决方案和/或我们没有尝试过的东西吗？ PS我们已经考虑过将其备份到磁带/磁盘上并以物理方式将其发送到目的地。如果WAN不削减它，这将是我们的极端措施，但正如Tanenbaum所说，“永远不要低估充满胶带的旅行车的带宽。”
4
Rsync显示单个文件的进度
我正在使用rsync上传/下载相当大的文件（20Gb）。我知道--progress选项，但是在我的情况下，它只是在最后显示结果。 我的问题是，在某些不稳定的连接期间-我不知道它是否仍在下载/上传或出了什么问题。有没有一种方法可以显示单个文件的进度条？类似于wget的默认设置吗？ 谢谢！
4
ASCII，二进制，自动
我正在服务器之间传输文件，并且刚开始注意到它们中的一些已被修改为一条连续的长行，而不是像原来那样具有返回和换行符。我假设这与我最初设置为“自动”的FTP客户端的传输类型有关，但是将“二进制”和“ ASCII”作为附加选项使用。 简而言之，我将文件从一台服务器传输到另一台服务器的方式之间有什么区别，这些区别是否能够像我上面提到的那样修改文件？ 从 Windows 转移到 Linux。
3
使rsync将文件从源移动到目标？
rsync是我的项目的不错选择吗？ 我必须： -通过SSH将文件从源复制到目标文件夹， -确保所有文件都已复制， - 复制后删除源文件。 -如果我有冲突的名字，我必须重命名文件。 看来我可以使用以下选项：--remove-source-files（删除源文件） 但是rsync如何管理冲突，我可以有规则吗？ 我的项目的用例： 我在服务器A上进行科学计算，结果被插入到“进程”文件夹中，对于每次计算，我都有一个像这样的存储库：/ process / calc1。 现在，我想将存储库“ / calc1”转移到服务器B（我获得/ process / calc1），并从服务器A删除“ calc1” 。...在另一次计算中，我在服务器A上获得了“ / process / calc2”，这个想法也是将“ calc2”移到服务器B的“ / process /”目录中，然后我现在在服务器B上： -/ process / calc1- / process / calc2 （并且服务器A上的/ process /为空）。 如果在新的计算之后服务器A中还有另一个文件夹，例如“ / process / calc1”，那么rsync将如何管理服务器B上的冲突（如果服务器B中已经存在“ / process / calc1”）？ …
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.