如何使用wget从托管站点下载?


11

wget是一个非常有用的工具,可以在Internet上快速下载内容,但是我可以使用它从托管网站下载,例如FreakShare,IFile.it Depositfiles,Uploaded,Rapidshare吗?如果是这样,我该怎么做?


4
那些网站中的大多数都不会使用JavaScript和其他障碍来消除直接链接到文件的行为吗?
蒂姆(Tim)

@Tim我认为您是正确的,因为不可能从那些网站获得直接链接。
Zignd

@swift您可以将其翻译成英文,然后发布在pastebin或其他地方吗
Zignd 2012年

Answers:


11

这种网站试图使不使用图形化Web浏览器变得很困难,因为如果使用wget,则会丢失所有这些为带宽付出的广告。

有些站点不进行高级检查,很容易被欺骗:告诉wget假装它确实是Mozilla,并且来自下载站点

wget --user-agent='Mozilla/5.0 (Windows NT 6.0) Gecko/20100101 Firefox/14.0.1' \
     --referer=http://downloadsite.example.com/download-page-url
     http://downloadsite.example.com/download-page-url/filename.ext`

大多数进行检查的网站都会让您无所适从,--user-agent=Mozilla并将其--referer设置为要下载文件的URL。

对于某些站点,您可能需要导出Web浏览器cookie并传递--load-cookies给wget。在这一点上,使用wget比手动下载开始工作更多。最终的方法可以一直工作,但是每个站点都需要一些编码,最终方法是使用浏览器自动化框架,例如SeleniumWatir

另请参见使用curl自动执行Web请求?


太棒了!您的回答帮助我为Zippyshare链接写了这个:stackoverflow.com/a/21100640/1533054
Sheharyar 2014年

7

对于Zippyshare:

该方法建立在Gilles的答案上。就像他说的,诀窍是使服务器认为请求是从浏览器发出的,并且要实现这一点,您需要做一些事情:

  • 下载链接(指向文件的实际链接)
  • 链接引荐来源网址(带有下载按钮的网页)
  • Zippyshare会话ID(在Cookie中找到)

这是一个截图,说明您可以在哪里获得每个物品:

从Zippyshare下载

现在打开终端,并使用以下命令(替换必要的项目):

wget <download_link> \
--referer='<referrer>' \
--cookies=off --header "Cookie: JSESSIONID=<session_id>" \
--user-agent='Mozilla/5.0 (Windows NT 6.0) Gecko/20100101 Firefox/14.0.1'

例:

wget http://www16.zippyshare.com/d/29887835/8895183/hello.txt \
--referer='http://www16.zippyshare.com/v/29887835/file.html' \
--cookies=off --header "Cookie: JSESSIONID=26458C0893BF69F88EB5743D74FE0F8C" \
--user-agent='Mozilla/5.0 (Windows NT 6.0) Gecko/20100101 Firefox/14.0.1'

注意:在命令中,实际上referer不是referrer


1
我只想在此屏幕快照中添加Sheharyar使用Firebug。这是向尝试在Inspector中执行此操作的每个人(包括我)进行的(不幸的是,这不可能)。
语法错误

1

我还想提供完美的答案,我使用以下技巧从Turbobit为儿子下载了一部儿童电影:

您需要从FIREBUG的cookie选项卡中找到“ compid”,而不是上面的答案中的SESSION_ID:

在此处输入图片说明

之后,用于我的debian嵌入式系统的命令非常简单:

wget --referer='http://http://turbobit.net/download/free/yilmacr4e351' --cookies=off --header "Cookie: compid=c9255510c34624435292d8a0e7e405be66aa01f9%7ED01343F87AB53A2C38D957A564DA1D55" --user-agent='Mozilla/5.0 (Windows NT 6.0) Gecko/20100101 Firefox/14.0.1' http://turbobit.net/download/redirect/B3EDACDA9B899937A149D5AAB6662327/yilmacr4e351/Ters.Yuz.2015.1080P.WEBDL.TR.EN.mkv &

我现在可以关闭计算机了:)

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.