如何使用wget从网站下载所有文件（而不是HTML）？

如何使用wget并从网站获取所有文件？

我需要除HTML，PHP，ASP等网页文件之外的所有文件。

要过滤特定的文件扩展名：

wget -A pdf,jpg -m -p -E -k -K -np http://site/path/

或者，如果您喜欢长选项名称：

wget --accept pdf,jpg --mirror --page-requisites --adjust-extension --convert-links --backup-converted --no-parent http://site/path/

这将镜像该站点，但是没有jpg或pdf扩展名的文件将被自动删除。

这为我下载了整个网站：

wget --no-clobber --convert-links --random-wait -r -p -E -e robots=off -U mozilla http://site/path/

wget -m -p -E -k -K -np http://site/path/

手册页将告诉您这些选项的作用。

wget将仅跟随链接，如果索引页面中没有指向文件的链接，则wget不会知道其存在，因此不会下载。即。如果在网页或目录索引中链接了所有文件，它将很有帮助。

我试图下载从Omeka的主题页面链接的zip文件-非常相似的任务。这对我有用：

wget -A zip -r -l 1 -nd http://omeka.org/add-ons/themes/

• -A：仅接受zip文件
• -r：递归
• -l 1：一层深（即，仅此页面上直接链接的文件）
• -nd：不要创建目录结构，只需将所有文件下载到该目录中即可。

所有的答案-k，-K，-E等选项可能还没有真正理解这个问题，因为这些对于重写HTML页面来进行局部结构，重命名.php文件等。不相干。

要从字面上获取除 .html etc 外的所有文件：

wget -R html,htm,php,asp,jsp,js,py,css -r -l 1 -nd http://yoursite.com

您可以尝试：

wget --user-agent=Mozilla --content-disposition --mirror --convert-links -E -K -p http://example.com/

您还可以添加：

-A pdf,ps,djvu,tex,doc,docx,xls,xlsx,gz,ppt,mp4,avi,zip,rar

接受特定扩展名，或仅拒绝特定扩展名：

-R html,htm,asp,php

或排除特定区域：

-X "search*,forum*"

如果机器人（例如搜索引擎）忽略了这些文件，则还必须添加： -e robots=off

试试这个。它总是对我有用

wget --mirror -p --convert-links -P ./LOCAL-DIR WEBSITE-URL

wget -m -A * -pk -e robots=off www.mysite.com/

这将在本地下载所有类型的文件，并从html文件指向它们，并且它将忽略漫游器文件

在Windows系统上，为了获得wget，您可以

1. 下载Cygwin
2. 下载GnuWin32