使用Wget同时下载多个文件？

我正在使用wget下载网站内容，但是wget一步一步下载文件。

如何使用4个同时连接进行wget下载？

使用aria2：

aria2c -x 16 [url]
#          |
#          |
#          |
#          ----> the number of connections 

http://aria2.sourceforge.net

我喜欢它 ！！

Wget不支持多个套接字连接，以加快文件下载速度。

我认为我们可以做的比garian答案还要好。

正确的方法是使用aria2。

aria2c -x 16 -s 16 [url]
#          |    |
#          |    |
#          |    |
#          ---------> the number of connections here

由于尚未提到GNU parallel，因此让我给出另一种方式：

cat url.list | parallel -j 8 wget -O {#}.html {}

我找到了（可能） 一个解决方案

从一台服务器下载数千个日志文件到另一台服务器的过程中，我突然需要在BSD中进行一些认真的多线程下载，最好是使用Wget，因为这是我想到的最简单的处理方法。环顾四周，使我想到了这个小块：

wget -r -np -N [url] &
wget -r -np -N [url] &
wget -r -np -N [url] &
wget -r -np -N [url]

只需wget -r -np -N [url]根据需要重复尽可能多的线程...现在考虑到这还不是很漂亮，并且肯定有更好的方法可以执行此操作，但是如果您想要快速又脏的东西应该可以解决问题...

注：选择-N品牌wget只下载“更新”文件，这意味着它不会覆盖或重新下载文件，除非在服务器上的时间戳的变化。

可以执行此操作的另一个程序是axel。

axel -n <NUMBER_OF_CONNECTIONS> URL

对于基本HTTP身份验证，

axel -n <NUMBER_OF_CONNECTIONS> "user:password@https://domain.tld/path/file.ext"

Ubuntu手册页。

新的（但尚未发布）工具是Mget。它具有Wget已知的许多选项，并带有一个库，可让您轻松地将（递归）下载嵌入到自己的应用程序中。

要回答您的问题：

mget --num-threads=4 [url]

更新

Mget现在作为Wget2开发，具有许多错误修复和更多功能（例如HTTP / 2支持）。

--num-threads现在--max-threads。

我强烈建议使用httrack。

例如： httrack -v -w http://example.com/

默认情况下，它将做一个具有8个同时连接的镜像。Httrack有很多玩的地方。看一看。

正如其他海报所提到的，我建议您看看aria2。在版本1.16.1的Ubuntu手册页中：

aria2是用于下载文件的实用程序。支持的协议是HTTP（S），FTP，BitTorrent和Metalink。aria2可以从多个来源/协议下载文件，并尝试利用最大下载带宽。它支持同时从HTTP（S）/ FTP和BitTorrent下载文件，而从HTTP（S）/ FTP下载的数据被上传到BitTorrent群。使用Metalink的块校验和，aria2在下载BitTorrent之类的文件时会自动验证数据块。

您可以使用该-x标志指定每个服务器的最大连接数（默认值：1）：

aria2c -x 16 [url] 

如果可以从多个位置访问同一文件，则可以选择从所有位置下载。使用该-j标志可以指定每个静态URI的最大并行下载数（默认值：5）。

aria2c -j 5 [url] [url2]

有关更多信息，请访问http://aria2.sourceforge.net/。有关使用情况的信息，手册页实际上是描述性的，并在底部带有使用示例的部分。可以在http://aria2.sourceforge.net/manual/zh/html/README.html上找到在线版本。

wget无法通过多个连接下载，而是可以尝试使用aria2之类的其他程序。

尝试pcurl

http://sourceforge.net/projects/pcurl/

使用curl而不是wget，可以并行下载10段。

用

aria2c -x 10 -i websites.txt >/dev/null 2>/dev/null &

在website.txt中，每行输入1个url，例如：

https://www.example.com/1.mp4
https://www.example.com/2.mp4
https://www.example.com/3.mp4
https://www.example.com/4.mp4
https://www.example.com/5.mp4

他们总是说这取决于情况，但是当涉及到网站镜像时，最好的方法是httrack。它超级快速且易于操作。唯一的缺点是所谓的支持论坛，但是您可以使用官方文档找到自己的方式。它具有GUI和CLI界面，并且支持cookie，只需阅读文档即可。这是最好的。（使用此工具可以将整个Web下载到硬盘上）

httrack -c8 [url]

默认情况下，同时连接的最大数量限制为8，以避免服务器过载

用于xargs使wget并行处理多个文件

#!/bin/bash

mywget()
{
    wget "$1"
}

export -f mywget

# run wget in parallel using 8 thread/connection
xargs -P 8 -n 1 -I {} bash -c "mywget '{}'" < list_urls.txt

Aria2选项，正确处理小于20mb的文件

aria2c -k 2M -x 10 -s 10 [url]

-k 2M 将文件分成2mb的块

-k或--min-split-size默认值为20mb，如果您未将此选项和文件设置为20mb以下，则无论-xor的值是多少，它都只能在单个连接中运行。-s

make可以很容易地并行化（例如make -j 4）。例如，这是Makefile我使用wget并行下载文件的简单方法：

BASE=http://www.somewhere.com/path/to
FILES=$(shell awk '{printf "%s.ext\n", $$1}' filelist.txt)
LOG=download.log

all: $(FILES)
    echo $(FILES)

%.ext:
    wget -N -a $(LOG) $(BASE)/$@

.PHONY: all
default: all

考虑使用正则表达式或FTP Globbing。这样，您可以使用不同的文件名起始字符组多次启动wget，具体取决于它们的出现频率。

例如，这是我如何在两个NAS之间同步文件夹：

wget --recursive --level 0 --no-host-directories --cut-dirs=2 --no-verbose --timestamping --backups=0 --bind-address=10.0.0.10 --user=<ftp_user> --password=<ftp_password> "ftp://10.0.0.100/foo/bar/[0-9a-hA-H]*" --directory-prefix=/volume1/foo &
wget --recursive --level 0 --no-host-directories --cut-dirs=2 --no-verbose --timestamping --backups=0 --bind-address=10.0.0.11 --user=<ftp_user> --password=<ftp_password> "ftp://10.0.0.100/foo/bar/[!0-9a-hA-H]*" --directory-prefix=/volume1/foo &

第一个wget同步所有以/开头的文件/文件夹0, 1, 2... F, G, H，第二个线程同步其他所有内容。

这是在具有一个10G以太网端口（10.0.0.100）的NAS和具有两个1G以太网端口（10.0.0.10和10.0.0.11）之间进行同步的最简单方法。我将两个wget线程绑定--bind-address到不同的以太网端口，并&在每行的末尾将它们并行调用。这样一来，我能够以2x 100 MB / s = 200 MB / s的总容量复制大型文件。