从列表下载文件

如何使用wget或其他自动方式下载文件（在文本文件中列出）？

样本文件列表：

www.example.com/1.pdf
www.example.com/2.pdf
www.example.com/3.pdf

wget对此具有内置标记：wget -i your_list 您可以通过阅读以下内容找到此类内容man wget

使它们与

cat urlfile | parallel --gnu "wget {}"

默认情况下，它将运行与内核一样多的进程，如果您真的想通过并行添加“ -j 20”快速拉低它们，则可以将其增加10倍。

xargs -i wget 'http://{}'  < your_list

parallel有一个内置标志--arg-file（-a），它将使用输入文件作为源，因此可以避免使用cat |。您可以使用

parallel --gnu -a urlfile wget

或者简单地 parallel --gnu wget < urlfile

awk '{print "http://" $0;}' list.txt | xargs -l1 wget

其中list.txt是您的列表文件

我看到了Florian Diesch的答案。

我通过bqc在命令中包含参数来使其工作。

xargs -i wget -bqc 'http://{}' < download.txt

所有下载均在后台并行开始。

• -b： 背景。开始后立即进入后台
• -q：安静。关闭wget的输出
• -c：继续。继续获取部分下载的文件

链接文件links.txt

下载所有链接文件的命令

cat links.txt | wget -i

我刚刚测试了这个：

xargs -a download_file -L1 wget

这个对我有用。txt文件中的链接必须位于单独的行中。