Firefox的递归下载(`wget -r`)是否等效?


15

我有一个网站,我想下载该网站内的所有页面/链接。我想wget -r在此URL上执行。没有链接位于该特定目录的“外部”,因此我不必担心下载整个Internet。

事实证明,我想要的页面位于网站的密码保护部分的后面。虽然我可以使用wget手动进行Cookie协商,但对我来说,仅从浏览器“登录”并使用一些firefox插件递归下载所有内容会容易得多。

是否有扩展程序或可以让我执行此操作的内容?许多扩展都专注于从页面获取媒体/图片(呵呵),但是我对所有内容都感兴趣-HTML和所有内容。

有什么建议吗?

谢谢!

编辑

DownThemAll似乎是一个不错的建议。可以递归下载吗?如上,下载页面上的所有链接,然后下载每个页面中包含的所有链接,等等?这样我基本上可以通过以下链接来镜像整个目录树?喜欢Kinda的-r选项wget吗?

Answers:


7

DownThemAll不执行递归下载。它仅从当前页面获取链接。仅下载链接URL的HTML页面。链接页面的图像和媒体未下载。


6

SpiderZilla可以做到这一点-但它有些陈旧(2006)。
它基于HTTrack网站复印机
其中具有所有平台的更新版本

还有另一个较旧的插件可以让您自己插入插件wget(除其他外)。

但是,我也觉得DownThemAll可能是一个不错的选择。
如果您知道要镜像的内容,则选择正确的链接应该不是问题。
而且,您始终可以勾选“全部”复选框。

因此,如果您想坚持使用浏览器,请为DownThemAll +1 。
并且,如果您想要独立的工具(并且wget并不方便),请使用HTTrack

更新:您可能还想在这个赏金问题
“我如何下载整个网站”上查看HTTrack的投票。


DTA不支持递归
海登思林

4

您可以使用wget -r来自浏览器的cookie,并在授权后提取它们。

Firefox在Web开发人员工具的“网络”选项卡的页面请求的上下文菜单中具有“复制为cURL”选项,热键Ctrl + Shift + Q(打开工具后,您可能需要重新加载页面): 屏幕截图

-H用wget的curl替换curl的header标志--header,您将拥有所有需要的header,包括cookie,以继续使用wget进行浏览器会话。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.