Questions tagged «wget»

从我的一台服务器到单个特定URL的wget不断超时。此框中的所有其他网址都可以正常工作。这个网址在我拥有的任何其他框中都可以正常工作。这是输出： wget -T 10 http://www.fcc-fac.ca --2011-07-14 14:44:29-- http://www.fcc-fac.ca/ Resolving www.fcc-fac.ca... 65.87.238.35, 207.195.108.140 Connecting to www.fcc-fac.ca|65.87.238.35|:80... failed: Connection timed out. Connecting to www.fcc-fac.ca|207.195.108.140|:80... failed: Connection timed out 您能告诉我什么地方可能出问题了，我该如何解决呢？我正在使用Ubuntu 11.04（GNU / Linux 2.6.38-8-server x86_64） 提前非常感谢您，原谅我的无知:) ping，telnet，nc www.fcc-fac.ca 80-全部挂起。但是，尽管只有某些主机可以ping通，但其他一些很容易获得的url 。 traceroute并不能告诉我很多： 7 rx0nr-access-communications.wp.bigpipeinc.com (66.244.208.10) 148.834 ms 149.018 ms 148.940 ms 8 sw-1-research.accesscomm.ca (24.72.3.9) …

12 ubuntu  wget 

我想从FTP下载目录，其中包含一些源代码。最初，我是这样做的： wget -r ftp://path/to/src 不幸的是，目录本身是SVN检出的结果，因此存在许多.svn目录，并且对其进行爬网将花费更长的时间。是否可以排除那些.svn目录？

12 wget  exclude 

我在运行Debian 5.0的同一子网上有2台计算机。它们使用相同的DNS（/etc/resolv.conf），路由到相同的网关（#route），并且具有相同的iptables设置（#iptables -L）。我可以从这两个ping通到IP地址和主机名。我可以运行#host www.google.com并在两者上获得相同的结果。但是问题是，在其中之一上，我无法理解或卷曲。 因此，在机器1上一切正常，但是在机器2上（与机器1设置相同），我无法获取或卷曲。 我得到的错误是： # wget google.com --2009-10-20 16:38:36-- http://google.com/ Resolving google.com... failed: Name or service not known. wget: unable to resolve host address `google.com' 但是在机器1上，wget或curl并返回并没有问题： # wget google.com --2009-10-20 16:43:55-- http://google.com/ Resolving google.com... 74.125.53.100, 74.125.45.100, 74.125.67.100 Connecting to google.com|74.125.53.100|:80... connected. HTTP request sent, awaiting response... 301 Moved …

11 linux  domain-name-system  debian  wget  resolve 

我想使用wget下载整个网站，但我不希望wget下载图像，视频等。 我试过了 wget -bqre robots=off -A.html example.com –user-agent=”Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.6) Gecko/20070725 Firefox/2.0.0.6″ 但是当我这样做时，它不会下载.php文件，而只会下载静态.html文件。 wget是否可以解决此问题？

10 linux  wget 

我想使用cURL 将uptime和df命令的输出发送到Web应用程序。我试过了： uptime | curl http://someurl.com -T - 但这似乎并没有发送数据。 将命令输出作为POST参数发送到cURL的正确方法是什么？（或者wget，如果那要容易得多）

10 linux  curl  wget  pipe 

我确实下载了适用于VMWare的RubyStack 2.0.3（Ubuntu 9.10），但无法下载任何内容！似乎所有基本实用程序都丢失/拧紧： bitnami@linux:/var/tmp$ wget -bash: wget: command not found bitnami@linux:/var/tmp$ curl curl: error while loading shared libraries: libcurl.so.4: cannot open shared obj ect file: No such file or directory bitnami@linux:/var/tmp$ man wget -bash: man: command not found bitnami@linux:/var/tmp$ sudo apt-get install wget [sudo] password for bitnami: Reading package lists… …

10 ubuntu-9.10  wget 

我正在尝试使用wget镜像网站，但是我不想下载很多文件，因此我正在使用wget的--reject选项来不保存所有文件。但是，wget仍将下载所有文件，然后在与我的拒绝选项匹配时将其删除。 如果它们匹配某些外壳通配符，是否有某种方法告诉wget不要遵循某些链接？如果wget无法执行此操作，是否还有其他常见的Linux命令可以执行此操作？

10 linux  wget  mirror  mirror-site 

我有用于在队列中下载大文件的脚本。现在，如果我有一个不错的日志，我将不胜感激。指定-oor -a选项显然是专门为此目的而设计的，但是，正如我在手册中指出的那样，截至我撰写此“非常大的文件”时，其大小不再是50m，而是千兆字节。--progress=dot:mega仅仅为一个3GB的文件产生1000行输出（显然它将是3000 * 80点（。））。所以我想知道：是否有任何方法可以自定义进度样式设置，以便实际上可以使用日志功能？

10 linux  bash  logging  log-files  wget 

已锁定。该问题及其答案被锁定，因为该问题是题外话，但具有历史意义。它目前不接受新的答案或互动。 使用wget命令，无论我调用多少次，如何每次都允许/指示覆盖本地文件。 假设我要从以下位置下载文件：http：//server/folder/file1.html 在这里，每当我说时wget http://server/folder/file1.html，file1.html无论更改时间，已下载时间等，我都希望在本地系统中将其覆盖。我的意图/用例是，当我调用wget时，我非常确定替换/覆盖现有文件。 我已经尝试了以下选项，但是每个选项都旨在用于其他目的。 -nc => --no-clobber -N =>开启时间戳 -r =>启用递归检索

9 linux  centos  command-line-interface  redhat  wget 

我有一个38GB的“ Moodle” tar文件，需要从旧服务器（共享主机）传输，我们可以将其称为“服务器A”到新服务器（专用虚拟机）或“服务器B”。如果可以的话，我在Mediatemple。 我已经压缩了目录，并使用wget通过SSH将其传输到服务器B，但这是一个很小的100GB软件包，我的磁盘容量为96％，这意味着我无法将文件解压缩到服务器B上！有什么方法可以将这个巨大的文件从服务器A传输到服务器B，同时保留权限并尽可能减少文件损坏，而这不会使我达到磁盘限制？ 到目前为止，我已经花了很多时间，但如果有人可以提出更好的主意，我将放弃我原来的计划-我将非常感谢！

8 files  tar  wget 

我在Windows系统中安装了Cygwin。我正在尝试wget为网站执行命令，但收到以下错误消息： ERROR: The certificate of `xxx.com' is not trusted. ERROR: The certificate of `xxx.com' hasn't got a known issuer. 如何解决此问题-这样我可以继续进行下去。

8 cygwin  wget 

我无法使用wget使用客户端证书。该文档谈到了使用--certificate标志。 证书标志的用法很明确，我将其设置为使用客户端证书的PEM版本。 但是当我连接时，出现以下错误： HTTP request sent, awaiting response... Read error (error:14094410:SSL routines: SSL3_READ_BYTES:sslv3 alert handshake failure; error:140940E5:SSL routines:SSL3_ READ_BYTES:ssl handshake failure) in headers. Giving up. ssl握手失败表示客户端未提供正确的客户端证书。我使用的客户端证书仍然可以在浏览器中使用。 注意：当我在服务器上禁用客户端身份验证时，wget可以连接。注意：建议使用curl，但我想避免切换。

8 ssl-certificate  wget 

我正在尝试下载两个站点以包含在CD中： http://boinc.berkeley.edu/trac/wiki http://www.boinc-wiki.info 我遇到的问题是这些都是Wiki。所以当用例如下载时： wget -r -k -np -nv -R jpg,jpeg,gif,png,tif http://www.boinc-wiki.info/ 我确实得到了很多文件，因为它也跟随着诸如...？action = edit ...？action = diff＆version = ...之类的链接。 有人知道解决这个问题的方法吗？ 我只想要当前页面，没有图像，没有差异等。 PS： wget -r -k -np -nv -l 1 -R jpg,jpeg,png,gif,tif,pdf,ppt http://boinc.berkeley.edu/trac/wiki/TitleIndex 这为伯克利工作，但boinc-wiki.info仍然给我带来麻烦：/ PPS： 我得到了与以下内容最相关的页面： wget -r -k -nv -l 2 -R jpg,jpeg,png,gif,tif,pdf,ppt http://www.boinc-wiki.info

7 linux  unix  wget 

我正在尝试获取URL（图像）的列表，其中一些不再存在，并且主机重定向到通用的“此图像不存在”页面，我知道其中的URL。我想获取文件，除非它是该域的302。 如果有任何带有--max-redirect=0标志的重定向，我可以停止获取文件，但是如果碰到镜子，这可能会停止获取真实图像

redirect  wget