Questions tagged «wget»

我需要下载大约100个软件包，因此我正在使用wget-list使其变得更容易。但是，我的问题是，一旦我创建了列表（我假设它是.txt格式），有没有一种方法可以向其中插入wget将忽略的注释？像这样： #This is a comment http://someurl.com http://anotherurl.com

4 linux  wget 

我正在寻找一种方法将字符串转换为 清洁 网址。 例如 ： wget http://myurl.com/toto/foo bar.jpg 这将是下载 http://myurl.com/toto/foo 和 http://bar.jpg。 我想下载 http://myurl.com/toto%20bar.jpg。 我尝试了一些旗帜 --restrict-file-names=ascii 但没有成功。 我不想要一种编码方式，而不是一种逐一替换。 任何的想法 ？

3 bash  wget  url  sh 

背景： 我在RedHat Linux（版本7.3（Maipo））上使用wget（版本1.14-15.el7），在Bash（版本4.2.46（1））终端中。 不幸的是，我仅限于这个特定的RHEL映像，所以我无法升级到更新版本的wget。 目标： 我正在尝试配置wget，以便在下载尝试失败时执行以下操作： 1）重试下载4次（共5次尝试） 2）在下载尝试之间等待一段固定的时间（30秒）（'重试'） 对于上下文，这是wget手册的相关片段： -w seconds --wait=seconds Wait the specified number of seconds between the retrievals. Use of this option is recommended, as it lightens the server load by making the requests less frequent. Instead of in seconds, the time can be specified in minutes …

3 linux  redhat-enterprise-linux  wget 

我有100,000个小文件网址可供下载。想使用10个线程和流水线是必须的。我将结果连接到一个文件。目前的做法是： cat URLS | xargs -P5 -- curl >> OUTPUT 是否有更好的选择可以显示整个操作的进度？必须从命令行工作。

3 command-line  bash  wget  curl  gnu-parallel 

我已经下载了 wget Windows的二进制文件。我把它放进去了 SYSTEM32 夹。当我尝试运行该命令时，会弹出一个错误： 该程序无法启动，因为 libintl3.dll 你的电脑丢失了。尝试重新安装该程序以解决此问题。 我已经下载了 libintl3.dll 我也把它放在System32中。错误不断弹出。串起一段时间后，我已经辞职并下载了instaler。这也没有帮助，只是弄乱了我的程序文件和文件。

3 windows-7  wget 

请记住，我对服务器一无所知，也不了解任何词汇，我是一个简单的网络编码器，试图在宇宙中找到自己的方式。 我正在尝试链接我的服务器上的Dropbox，我正在使用这行代码： cd ~ && wget -O - "https://www.dropbox.com/download?plat=lnx.x86_64" | tar xzf - 当我运行它时，它显示错误： Cannot write to `-' (Success). 我很困惑，我不知道该怎么办。我的CentOS是64位，版本6.5。

3 centos  dropbox  http  wget 

在Windows 7下，有没有办法模拟&OS X终端中角色的行为？ 我正在尝试同时运行多个Wget实例：我可以在OS X下没有任何排序问题，因为我有一个Python脚本，它构建一个长字符串，其中Wget的每个实例都是＆-separated。当我执行它时os.system()一切都很顺利。 但是，在Windows下，这不起作用，并且实例按顺序运行。这不是我想要的。 我对所有建议cmd.exe持开放态度：黑客，shell端口，更多Python，任何东西，只要创建新的Windows shell窗口。提前致谢！ 编辑：我发现文件实际上是使用此方法下载的，但在Windows下，cmd.exe只是突然执行，并让用户接受新命令。有没有办法避免这种情况，并保持控制台“挂起”，直到所有Wget实例完成下载？ 编辑2：发布我正在使用的代码。 for track in album.tracks(): tracknum = track["track_num"] tracktit = track["title"] URL = track["file"]["mp3-128"] filename = str(tracknum) + " - " + tracktit + ".mp3" 现在，在OS X下，这段代码运行得非常好。 execstr += 'bandcamp-support' +os.sep+ 'wget --tries=0 -O"{}" "{}" -q & '.format(filename,URL) os.system('bandcamp-support' +os.sep+ 'wget' …

3 windows  command-line  terminal  python  wget 

我有一个bash脚本，它启动一系列wget命令并记录输出。我使用以下选项： wget --no-verbose --page-requisites --adjust-extension --convert-links --backup-converted --timestamping --wait=1 --random-wait --append-output="$logfile" --recursive --level=2 http://example.com 日志应以： Terminé — 2014-10-09 18:06:40 — Temps total effectif : 1m 7s Téléchargés : 11 fichiers, 79K en 0,06s (1,22 MB/s) 但有时候没有这样的总结，我看到的只是发生的错误： http://example.com/robots.txt: 2014-10-09 18:06:41 erreur 404 : Ce fichier n'existe pas (404). http://example.com/index.html: 2014-10-09 18:08:27 …

2 bash  wget 

我想得到一个给定网页上所有链接的列表（递归）。我似乎无法在不去wget -r的情况下找到如何做到这一点。我不想保存所有的垃圾，只是链接。有任何想法吗？

2 wget 

我在Windows 7中使用Wget。我相信这限制了我对Wget 1.11.4。 对于任何对细节感兴趣的人，我发布了一个示例wgetrc文件。这个样本实际上是我目前正在使用的样本。我的Wget命令如下： wget 2> "I:\Current\Wget\wgeterr.log" 我遇到了应该限制下载内容的选项的问题。正如wgetrc（上文）末尾所详述的那样，某些形式的限制似乎不起作用。 特别是，我认为我使用exclude_domains正确地指出我不想在下载中包含twitter.com，作为与我正在下载的网站相同级别的文件夹（即，raywoodcockbio.wordpress.com） 。然而，我正在获得twitter.com。 问题是，如何防止twitter.com（也包括Facebook和其他社交媒体网站文件夹）被包含在我的下载中？

2 wget  facebook  twitter 

我正在尝试通过使用wget复制HTTP POST请求来自动登录网站。我真的不需要响应数据，更不用说等待所有这些信息会增加cronjob的执行时间。 我试图通过发送一个限制访问服务器的数据量 Range: bytes=0-1 HTTP标头，但显然我做错了，因为我仍然得到不需要的数百千字节HTML内容。 我该如何正确做呢？

2 http  wget 

我以管理员身份通过远程桌面登录Windows 2008服务器，并启动了wget进程，该过程将需要24小时才能下载29个文件。 如果在此期间有人登录并“注销管理员”以便他们可以登录，则wget进程会被杀死还是继续运行？

2 process  wget  windows-server-2008-r2 

测试页面： https://www.beobank.be/nl/Home.aspx 这是使用wget（或真正的浏览器）的结果： # time wget https://www.beobank.be/nl/Home.aspx -O /dev/null --2015-01-26 12:05:46-- https://www.beobank.be/nl/Home.aspx Resolving www.beobank.be (www.beobank.be)... 62.213.211.94 Connecting to www.beobank.be (www.beobank.be)|62.213.211.94|:443... connected. HTTP request sent, awaiting response... 200 OK Length: 33444 (33K) [text/html] Saving to: `/dev/null' 100%[======================================================================================================================================================>] 33,444 --.-K/s in 0.05s 2015-01-26 12:05:47 (670 KB/s) - `/dev/null' saved [33444/33444] real 0m1.327s …

1 performance  curl  wget 

我正在尝试下载所有的 项目欧拉 使用该命令的问题 wget -m http://www.projecteuler.net/ 但它下载的只是第一页 即 index.html 并停止。我试过用了 --user 和 --password 但它给了我相同的结果。它们似乎也没有ftp站点，这可能是它无法工作的原因。 有没有其他方法来实现这一目标？

1 ftp  wget  mirroring 

有没有办法模仿浏览器中的“另存为”功能？ 当我在浏览器中保存网页时，我得到一个包含资产（图像，js，css）和索引文件的文件夹，其中包含页面名称： Nov 28 reddit: the front page of the internet_files Nov 28 reddit: the front page of the internet.html 但无论如何，当我使用wget时，我会得到这样的东西： Nov 28 a.thumbs.redditmedia.com Nov 28 b.thumbs.redditmedia.com Nov 28 m.reddit.com Nov 28 out.reddit.com Nov 28 reddit.com Nov 28 www.reddit.com Nov 28 www.redditstatic.com 我试过用这些： wget -E -H -k -K -p https://reddit.com …

1 browser  wget  css  webpage  save-as