如何从网站下载所有页面?
任何平台都可以。
如何从网站下载所有页面?
任何平台都可以。
Answers:
Wget是用于此类任务的经典命令行工具。它随大多数Unix / Linux系统一起提供,您也可以在Windows上获得它。在Mac上,Homebrew是安装它的最简单方法(brew install wget
)。
您将执行以下操作:
wget -r --no-parent http://site.com/songs/
有关更多详细信息,请参见Wget Manual及其示例,例如:
使用wget:
wget -m -p -E -k www.example.com
选项说明:
-m, --mirror Turns on recursion and time-stamping, sets infinite
recursion depth, and keeps FTP directory listings.
-p, --page-requisites Get all images, etc. needed to display HTML page.
-E, --adjust-extension Save HTML/CSS files with .html/.css extensions.
-k, --convert-links Make links in downloaded HTML point to local files.
--mirror
不是很容易解释。这来自手册页:“ 此选项打开递归和时间戳记,设置无限递归深度并保留FTP目录列表。它当前等效于-r -N- l inf --no-remove-listing “)
wget --mirror -p --html-extension --convert-links www.example.com
,它只是下载了索引。我认为您需要-r
下载整个网站。
-w seconds
(等待请求之间的秒数,或者使用--limit-rate=amount
,以指定下载时使用的最大带宽
Internet Download Manager的Site Grabber实用程序具有很多选项-使您可以完全按照自己的方式下载所需的任何网站。
您可以设置要下载的页面/文件大小的限制
您可以设置要访问的分支站点的数量
您可以更改脚本/弹出窗口/副本的行为方式
您可以指定一个域,只有在该域下才会下载所有符合要求的页面/文件
链接可以转换为脱机链接以进行浏览
您可以使用模板来选择上述设置
该软件不是免费的-请查看软件是否符合您的需要,使用评估版。
我将介绍浏览器使用的在线缓冲...
通常,大多数浏览器使用浏览缓存将您从网站下载的文件保留一段时间,这样您就不必一遍又一遍地下载静态图像和内容。在某些情况下,这可以大大加快速度。一般而言,大多数浏览器缓存都被限制为固定大小,当达到该限制时,它将删除缓存中最旧的文件。
ISP倾向于具有缓存服务器,该服务器保留诸如ESPN和CNN之类的常用网站的副本。这样可以避免他们每次在网络上有人访问这些站点时都可以访问这些站点的麻烦。这可以节省大量重复发送给ISP的外部站点的请求。
我已经很多年没有这样做了,但是仍然有一些实用程序。您可能想尝试Web Snake。我相信几年前就使用过它。当我读到您的问题时,我马上就想起了这个名字。
我同意Stecy。请不要锤打他们的网站。很坏。
它是一个免费的,功能强大的离线浏览器。高速,多线程的网站下载和查看程序。通过同时发出多个服务器请求,BackStreet Browser可以快速下载整个网站或网站的一部分,包括HTML,图形,Java Applet,声音和其他用户可定义的文件,并将所有文件以其本机格式保存在硬盘中,或作为压缩的ZIP文件并脱机查看。
Teleport Pro是另一个免费的解决方案,它将复制您目标位置中的所有文件(还有付费版本,使您可以提取更多页面的内容)。
DownThemAll是Firefox的附加组件,单击即可下载特定网页的所有内容(例如,音频或视频文件)。这不会下载整个站点,但这可能是问题正在寻找的东西。
虽然已经提到过wget,但该资源和命令行是如此无缝,我认为值得一提:
wget -P /path/to/destination/directory/ -mpck --user-agent="" -e robots=off --wait 1 -E https://www.example.com/
古老的FreeDownloadManager.org也具有此功能。
Free Download Manager具有两种形式的两种形式:Site Explorer和Site Spider:
站点浏览器
站点浏览器使您可以查看网站的文件夹结构,并轻松下载必要的文件或文件夹。
HTML Spider
您可以使用HTML Spider下载整个网页,甚至整个网站。可以调整该工具以仅下载具有指定扩展名的文件。
我发现,在尝试下载整个网站之前,Site Explorer有助于查看要包含/排除的文件夹,尤其是当您不想下载的网站中隐藏了整个论坛时,尤其如此。
下载HTTracker它将下载非常简单的步骤。
下载链接:http : //www.httrack.com/page/2/
可以帮助您的视频:https : //www.youtube.com/watch?v=7IHIGf6lcL4
我相信Google chrome可以在桌面设备上执行此操作,只需转到浏览器菜单,然后单击保存网页即可。
另请注意,诸如Pocket之类的服务可能实际上并未保存该网站,因此容易受到链接损坏的影响。
最后请注意,复制网站内容可能会侵犯版权(如果适用)。