如何在Python 2中发送HEAD HTTP请求?


114

我在这里尝试做的是获取给定URL的标头,以便确定MIME类型。我希望能够查看是否http://somedomain/foo/将返回例如HTML文档或JPEG图像。因此,我需要弄清楚如何发送HEAD请求,以便无需下载内容就可以读取MIME类型。有人知道这样做的简单方法吗?

Answers:


104

编辑:此答案有效,但是现在您应该使用下面其他答案中提到的请求库。


使用httplib

>>> import httplib
>>> conn = httplib.HTTPConnection("www.google.com")
>>> conn.request("HEAD", "/index.html")
>>> res = conn.getresponse()
>>> print res.status, res.reason
200 OK
>>> print res.getheaders()
[('content-length', '0'), ('expires', '-1'), ('server', 'gws'), ('cache-control', 'private, max-age=0'), ('date', 'Sat, 20 Sep 2008 06:43:36 GMT'), ('content-type', 'text/html; charset=ISO-8859-1')]

还有一个getheader(name)获取特定的标头。


2
此响应标记为已回答,但应查看请求库。请看下面的达利厄斯的回应。
巴哈迪尔·坎贝尔

这确实很好,但是它要求您为请求的主机和路径设置单独的值。这是非常有用的urlparse就在眼前,这是由一些等级较低的效应初探所示。
Tomasz Gandor

7
Python 3注意;httplib被重命名为http.client
Santosh Kumar 2013年

2
不幸的是,requests默认情况下Python不附带。
菜鸟

@rook也不是您的程序:)
Eevee

109

urllib2可用于执行HEAD请求。这比使用httplib更好,因为urllib2为您解析URL,而不是要求您将URL分为主机名和路径。

>>> import urllib2
>>> class HeadRequest(urllib2.Request):
...     def get_method(self):
...         return "HEAD"
... 
>>> response = urllib2.urlopen(HeadRequest("http://google.com/index.html"))

头可以通过response.info()像以前一样使用。有趣的是,您可以找到重定向到的URL:

>>> print response.geturl()
http://www.google.com.au/index.html

1
如果您想对所得到的结果做些事情,response.info().__ str __()将返回标头的字符串格式。
Shane 2010年

6
除了使用python 2.7.1(ubuntu natty)进行尝试外,如果存在重定向,它将在目标而不是HEAD上执行GET操作
eichin 2011年

1
这是的优势httplib.HTTPConnection,它不会自动处理重定向。
Ehtesh Choudhury

但是有多谢的回答。如何设置超时时间?如何处理错误的URL,即不再有效的URL。
fanchyna

65

强制Requests方式:

import requests

resp = requests.head("http://www.google.com")
print resp.status_code, resp.text, resp.headers

36

我认为也应该提及Requests库。


5
这个答案值得更多关注。看起来像一个很好的库,使问题变得微不足道。
Nick Retallack

3
我同意发出请求非常简单:{code}导入请求r = request.head(' github.com'){code}
Luis R.

@LuisR .:如果存在重定向,则它还会遵循GET / POST / PUT / DELETE。
jfs 2012年

@Nick Retallack:没有禁用重定向的简便方法。allow_redirects只能禁用POST / PUT / DELETE重定向。示例:head请求无重定向
jfs 2012年

@JFSebastian指向您的示例的链接似乎已断开。您能否通过以下重定向详细说明该问题?
Piotr Dobrogost 2012年

17

只是:

import urllib2
request = urllib2.Request('http://localhost:8080')
request.get_method = lambda : 'HEAD'

response = urllib2.urlopen(request)
response.info().gettype()

编辑:我刚开始意识到有httplib2:D

import httplib2
h = httplib2.Http()
resp = h.request("http://www.google.com", 'HEAD')
assert resp[0]['status'] == 200
assert resp[0]['content-type'] == 'text/html'
...

连结文字


有点讨厌,因为您将get_method保留为未绑定函数,而不是将其绑定到request。(Viz,它可以工作,但是它的样式不好,如果您要在其中使用self,则很难用。)
Chris Morgan

4
您能否详细说明此解决方案的优缺点?如您所见,我不是Python专家,所以我知道它何时会变坏会有所帮助;)据我所知,fas担心这是一种hack,根据实现的更改,它可能会起作用,也可能不会起作用?
帕维尔Prażak

此代码中的第二个版本是唯一为我提供403禁止访问网址的版本。其他人则抛出了例外。
duality_ 2013年

10

为了完整起见,有一个与使用httplib接受的答案等效的Python3答案。

基本相同的代码只是该库不再被称为httplib而是http.client

from http.client import HTTPConnection

conn = HTTPConnection('www.google.com')
conn.request('HEAD', '/index.html')
res = conn.getresponse()

print(res.status, res.reason)

2
import httplib
import urlparse

def unshorten_url(url):
    parsed = urlparse.urlparse(url)
    h = httplib.HTTPConnection(parsed.netloc)
    h.request('HEAD', parsed.path)
    response = h.getresponse()
    if response.status/100 == 3 and response.getheader('Location'):
        return response.getheader('Location')
    else:
        return url

以前的美元符号是import什么?对于+1 ,当在输入端处理URL时urlparsehttplib它们一起使舒适urllib2
Tomasz Gandor

1

顺便说一句,当使用httplib时(至少在2.5.2上),尝试读取HEAD请求的响应将阻塞(在读取行中),随后失败。如果您未在响应中发出已读消息,则无法在连接上发送另一个请求,则需要打开一个新请求。或者接受两次请求之间的长时间延迟。


1

我发现httplib比urllib2快一点。我为两个程序计时-一个使用httplib,另一个使用urllib2-将HEAD请求发送到10,000个URL。httplib的速度快了几分钟。 httplib的总统计为:实际6m21.334s用户0m2.124s sys 0m16.372s

的urllib2的总的统计是:实9m1.380s用户0m16.666s SYS 0m28.565s

有人对此有意见吗?


输入?问题是受IO限制,您正在使用阻止库。如果您想获得更好的性能,请切换到eventlet或twisted。您提到的urllib2的局限性受CPU限制。
Devin Jeanpierre 2010年

3
urllib2跟随重定向,因此,如果您的某些URL重定向,则可能是造成差异的原因。而且,httplib是更底层的,例如urllib2会解析URL。
玛丽安

1
urllib2只是httplib之上的一薄层抽象,如果您是cpu绑定的用户,除非URL位于非常快速的LAN上,我会感到非常惊讶。是否有可能某些网址是重定向的?urllib2将跟随重定向,而httplib不会。另一种可能性是两次运行之间的网络条件(您在本实验中没有明确控制的任何条件)波动。您应该至少进行3次交错运行以减少这种可能性
John La Rooy

0

还有另一种方法(类似于Pawel的答案):

import urllib2
import types

request = urllib2.Request('http://localhost:8080')
request.get_method = types.MethodType(lambda self: 'HEAD', request, request.__class__)

只是为了避免在实例级别使用无限制的方法。


-4

可能更容易:使用urllib或urllib2。

>>> import urllib
>>> f = urllib.urlopen('http://google.com')
>>> f.info().gettype()
'text/html'

f.info()是类似字典的对象,因此您可以执行f.info()['content-type']等。

http://docs.python.org/library/urllib.html
http://docs.python.org/library/urllib2.html
http://docs.python.org/library/httplib.html

文档指出,通常不直接使用httplib。


14
但是,urllib将执行GET操作,问题是有关执行HEAD的问题。也许张贴者不想检索昂贵的文件。
菲利普F 2009年
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.