我正在尝试使用Wget下载页面,但是无法通过登录屏幕。
如何使用登录页面上的发布数据发送用户名/密码,然后以经过身份验证的用户身份下载实际页面?
我正在尝试使用Wget下载页面,但是无法通过登录屏幕。
如何使用登录页面上的发布数据发送用户名/密码,然后以经过身份验证的用户身份下载实际页面?
Answers:
根据手册页:
# Log in to the server. This only needs to be done once.
wget --save-cookies cookies.txt \
--keep-session-cookies \
--post-data 'user=foo&password=bar' \
--delete-after \
http://server.com/auth.php
# Now grab the page or pages we care about.
wget --load-cookies cookies.txt \
http://server.com/interesting/article.php
确保--post-data
参数正确地进行了百分比编码(尤其是“&”号),否则请求可能会失败。还要确保user
和password
是正确的密钥;您可以通过侦查登录页面的HTML来找到正确的键(查看浏览器的“检查元素”功能并name
在用户名和密码字段中找到属性)。
-p
(--page-requisites
)。
--delete-after
到第一检索,所以你最终不会从记录并保存结果页面。
WGET64: missing URL
,将整个wget命令放在一行中,并删除了“ \”
如果您需要使用一次,可以通过浏览器登录,然后复制所需的标题:
使用开发人员工具的“网络”标签中的“复制为cURL”(打开后重新加载页面),并将curl的标头标志-H
和替换--data
为wget的--header
和--post-data
。
wget
使用正确的cookie则无效;我怀疑Web服务会检查多个不同的GET标头,甚至看似不重要的标头,例如“ User-Agent”或“ Cache-Control”。
wget
提供了错误的数据。
我直接使用--no-cookies和Cookie HTTP请求标头为wget提供了现有连接的cookie。在我的情况下,这是Moodle大学的登录,登录看起来更加复杂(使用带有登录票证的多个请求)。我添加了--post-data,因为它是POST请求。例如,获取所有Moodle用户列表:
wget --no-cookies --header "Cookie: <name>=<value>" --post-data 'tab=search&name=+&personsubmit=Rechercher&keywords=&keywordsoption=allmine' https://moodle.unistra.fr/message/index.php
我有同样的问题。我的解决方案是通过Chrome进行登录并将cookie数据保存到文本文件中。可以通过以下Chrome扩展程序轻松完成此操作:Chrome cookie.txt导出扩展程序。
当您获取Cookie数据时,还有一个示例说明如何与wget一起使用它们。提供了一个简单的复制粘贴命令行。
我想要一种不下载任何文件的文件。这是将Cookie输出传递到下一个请求的示例。我仅在Gentoo上测试了以下内容,但它应可在大多数* nix环境中使用:
wget -q -O /dev/null --save-cookies /dev/stdout --post-data 'u=user&p=pass' 'http://example.com/login' | wget -q -O - --load-cookies /dev/stdin 'http://example.com/private/page'
(这是一行,尽管它可能会包裹在您的浏览器中)
如果要将输出保存到文件,请更改-O -
为-O /some/file/name
如果他们使用基本身份验证:
wget http://username:password@www.domain.com/page.html
如果他们使用的是POSTed表单数据,则需要使用诸如cURL之类的东西。
注意:Lynx必须使用--enable-persistent-cookies标志进行编译才能正常工作
当您想使用wget从需要登录的站点下载某些文件时,您只需要一个cookie文件。为了生成cookie文件,我选择lynx。lynx是一个文本Web浏览器。首先,您需要一个用于lynx的配置文件来保存cookie。创建一个文件lynx.cfg。将这些配置写入文件。
SET_COOKIES:TRUE
ACCEPT_ALL_COOKIES:TRUE
PERSISTENT_COOKIES:TRUE
COOKIE_FILE:cookie.file
然后使用以下命令启动lynx:
lynx -cfg=lynx.cfg http://the.site.com/login
输入用户名和密码后,选择“在此PC上保留我”或类似名称。如果成功登录,您将看到该站点的漂亮文本网页。然后您注销。在当前目录中,您将找到一个名为cookie.file的cookie文件。这就是我们需要的wget。
然后wget可以使用此命令从站点下载文件。
wget --load-cookies ./cookie.file http://the.site.com/download/we-can-make-this-world-better.tar.gz
使用wget下载的示例在服务器一个大文件链接的该文件可以在浏览器中获得。
以使用谷歌浏览器为例。
在需要的地方登录,然后按下载。转到下载并复制您的链接。
然后在您登录的页面上打开DevTools,进入控制台并通过输入以下内容获取Cookie:document.cookie
现在,转到服务器并下载文件: wget --header "Cookie: <YOUR_COOKIE_OUTPUT_FROM_CONSOLE>" <YOUR_DOWNLOAD_LINK>