程序设计 wget

5

关闭。此问题不符合堆栈溢出准则。它当前不接受答案。想改善这个问题吗？更新问题，使其成为Stack Overflow 的主题。 2年前关闭。改善这个问题我尝试在MAC OS 10.11.1中安装wget，但运行时出现./configure --with-ssl=openssl此错误： configure: error: --with-ssl=openssl was given, but SSL is not available. 如何在OSX 10.11.1中解决此问题？

136 macos wget osx-elcapitan libssl libressl

7

如何使用Wget从URL将所有图像下载到单个文件夹中？

我正在使用wget从网站上下载所有图像，它可以正常工作，但它存储该站点的原始层次结构以及所有子文件夹，因此图像周围出现点缀。有没有一种方法可以将所有图像下载到一个文件夹中？我目前使用的语法是： wget -r -A jpeg,jpg,bmp,gif,png http://www.somedomain.com

133 wget

4

什么更好，curl或wget？[关闭]

已关闭。这个问题是基于观点的。它当前不接受答案。想改善这个问题吗？更新问题，以便通过编辑此帖子以事实和引用的形式回答。 5年前关闭。改善这个问题他们是一样的吗？某些事情可以用一个做，而另一个不能做吗？那些是什么？还是在一天结束时只是一个熟悉的问题？

132 linux curl wget

4

如何使用Python请求伪造浏览器访问？

我想从下面的网站获取内容。如果使用Firefox或Chrome这样的浏览器，则可以获取所需的真实网站页面，但是如果使用Python request软件包（或wget命令）进行获取，则它将返回完全不同的HTML页面。我以为网站的开发人员为此做了一些阻碍，所以问题是：如何使用python请求或命令wget伪造浏览器访问？ http://www.ichangtou.com/#company:data_000008.html

127 python html web-scraping python-requests wget

5

Wget输出文档和标头到STDOUT

我正在尝试通过wget将文档正文及其标题输出到stdout wget -S -O - http://google.com 但它仅显示html文档。谢谢 UPD：工作了 wget --save-headers --output-document - http://google.com wget --version 显示GNU Wget 1.11.4 Red Hat已修改

116 linux http wget

6

如何在shell变量中获取网页的内容？

在Linux中，如何获取URL并在shell脚本的变量中获取其内容？

115 linux bash shell wget

10

重定向curl后获取最终URL

最好使用curl或wget重定向页面后，我需要获取最终URL。例如，http://google.com可以重定向到http://www.google.com。内容很容易获得（例如curl --max-redirs 10 http://google.com -L），但是我只对最终URL（在前一种情况下为http://www.google.com）感兴趣。仅使用Linux内置工具有什么办法做到这一点？（仅命令行）

110 linux redirect curl wget

5

如何使用cURL从GitHub下载tarball？

我正在尝试使用cURL从GitHub下载tarball ，但似乎没有重定向： $ curl --insecure https://github.com/pinard/Pymacs/tarball/v0.24-beta2 <html><body>You are being <a href="https://nodeload.github.com/pinard/Pymacs/tarball/v0.24-beta2">redirected</a>.</body></html> 注意：wget对我有用： $ wget --no-check-certificate https://github.com/pinard/Pymacs/tarball/v0.24-beta2 但是我想使用cURL，因为最终我想用以下内容内联解压缩它： $ curl --insecure https://github.com/pinard/Pymacs/tarball/v0.24-beta2 | tar zx 我发现重定向后的URL原来是https://download.github.com/pinard-Pymacs-v0.24-beta1-0-gcebc80b.tar.gz，但是我希望cURL足够聪明以至于可以理解这个出来。

93 linux curl github wget

2

如何从命令行发送HTTP OPTIONS请求？

我尝试使用cURL，但似乎默认情况下（Debian）未使用HTTPS支持进行编译，并且我不想自己构建它。 wget 似乎具有SSL支持，但是我没有找到有关如何使用wget生成OPTIONS HTTP请求的信息。

93 curl wget

3

如何使用wget / curl在给定的网页上下载所有指向.zip文件的链接？

页面包含指向一组.zip文件的链接，我都希望下载所有这些文件。我知道这可以通过wget和curl来完成。怎么做？

83 curl download wget

5

我可以使用wget进行检查，但不能下载

我可以使用wget检查404而不实际下载资源吗？如果可以，怎么办？谢谢

83 wget

4

WGET是否超时？

我正在使用Wget通过cron通过以下命令运行PHP脚本： wget -O - -q -t 1 http://www.example.com/cron/run 该脚本最多需要5-6分钟来进行处理。WGet是否会等待它并一直提供它所需的时间，还是会超时？

83 linux cron wget

9

如何仅显示wget进度栏？

例如： wget http://somesite.com/TheFile.jpeg downloading: TheFile.tar.gz ... --09:30:42-- http://somesite.com/TheFile.jpeg => `/home/me/Downloads/TheFile.jpeg' Resolving somesite.co... xxx.xxx.xxx.xxx. Connecting to somesite.co|xxx.xxx.xxx.xxx|:80... connected. HTTP request sent, awaiting response... 200 OK Length: 1,614,820 (1.5M) [image/jpeg] 25% [======> ] 614,424 173.62K/s ETA 00:14 我怎样才能看起来像这样 downloading: TheFile.jpeg ... 25% [======> ] 614,424 173.62K/s ETA 00:14 我知道curl可以做到，但是我需要wget来完成这项工作。

80 linux bash wget sh

3

如何在Ubuntu Docker映像中运行wget？

我正在尝试在Ubuntu容器中下载Debian软件包，如下所示： sudo docker run ubuntu:14.04 wget https://downloads-packages.s3.amazonaws.com/ubuntu-14.04/gitlab_7.8.2-omnibus.1-1_amd64.deb 我懂了 exec: "wget": executable file not found in $PATH 我已经安装wget了docker，如下所示： run ubuntu:14.04 apt-get install wget 如何下载文件？

79 ubuntu docker wget

3

如何使用wget重命名下载的文件？

要从服务器下载SOFA统计信息，请使用wget命令： wget -c http://sourceforge.net/projects/sofastatistics/files/latest/download?source=dlp 在这种情况下，下载文件的文件名是download?source=files。如果我--output-document在命令中添加选项，则将输出文件重命名为sofastatistics-latest.deb，则dpkg软件包无法识别下载文件的格式。 dpkg-deb: error: `sofastatistics-latest.deb' is not a debian format archive 如何使用wget正确重命名下载的文件？更新- 15年1月8日使用提供的链接，下载的文件将始终是* .tar.gz。要获得真实姓名，只需添加以下--content-disposition选项（感谢@ 6EQUJ5！）： wget --content-disposition http://sourceforge.net/projects/sofastatistics/files/latest/download?source=dlp 但是我需要一个* .deb文件，所以这里是@creaktive，我不得不搜索* .deb文件链接。感谢所有的答案！

78 wget file-rename

Questions tagged «wget»