使wget不下载大于X大小的文件


11

好吧,我放弃。如何限制下载的文件的大小,例如我不希望任何大于2 MB的文件?

Answers:


6

我知道wget支持的唯一限制选项是-Q配额切换。不过,这不是您想要的,因为它将在您下载的所有文件(而非单独下载)的总限制合并后停止。-Q手册页所述,分别用开关接通每个链接的链接也不起作用。

我不知道您使用的环境是什么,但是搜寻器支持具有最大长度字节的文件大小限制,并且可以在Java平台上运行。

从他们的用户手册中

  • 最大长度字节

每个文档要下载的最大字节数。达到此限制后将截断文件。

默认情况下,此值设置为一个极大的值(在Exabyte范围内),在实践中永远不会达到。


嗯 好的。那重申了我发现的很多内容,但无论如何都给出了很好的答案。我不知道Heritrix会截断文件而不是跳过它们。
纳撒尼尔(Nathaniel)2010年

3

如果它是关于“ 最大下载2MB ”而不是“ 最大2MB下载文件 ”,则可以限制输出保存到磁盘。

wget -O - $url |head -c 1024(带有可选的> $SaveAsFile)->保存第一个KB,其余的将被截断。

(足以看到一个“ OK:$ Message ”,而不是从远程发送大量错误消息来杀死我的/ tmp;))


By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.