覆盖urllib2.HTTPError或urllib.error.HTTPError并以任何方式读取响应HTML

我收到“ HTTP错误500：内部服务器错误”响应，但是我仍然想读取错误HTML中的数据。

使用Python 2.6，我通常使用以下命令获取页面：

import urllib2
url = "http://google.com"
data = urllib2.urlopen(url)
data = data.read()

尝试在失败的URL上使用它时，出现异常urllib2.HTTPError：

urllib2.HTTPError: HTTP Error 500: Internal Server Error

如何urllib2在返回内部服务器错误的同时获取此类错误页面（带有或不带有）？

请注意，在Python 3中，相应的例外是urllib.error.HTTPError。

该HTTPError 是一个类似文件的对象。您可以先捕获它，然后捕获它read的内容。

try:
    resp = urllib2.urlopen(url)
    contents = resp.read()
except urllib2.HTTPError, error:
    contents = error.read()

如果您要阅读500的正文，请执行以下操作：

request = urllib2.Request(url, data, headers)
try:
        resp = urllib2.urlopen(request)
        print resp.read()
except urllib2.HTTPError, error:
        print "ERROR: ", error.read()

就您而言，您不需要建立请求。做就是了

try:
        resp = urllib2.urlopen(url)
        print resp.read()
except urllib2.HTTPError, error:
        print "ERROR: ", error.read()

因此，您不必覆盖urllib2.HTTPError，而只需处理异常。

alist=['http://someurl.com']

def testUrl():
    errList=[]
    for URL in alist:
        try:
            urllib2.urlopen(URL)
        except urllib2.URLError, err:
            (err.reason != 200)
            errList.append(URL+" "+str(err.reason))
            return URL+" "+str(err.reason)
    return "".join(errList)

testUrl()