在Python中,如何使用urllib查看网站是404还是200?


Answers:


176

getcode()方法(在python2.6中添加)返回与响应一起发送的HTTP状态代码;如果URL不是HTTP URL,则返回None。

>>> a=urllib.urlopen('http://www.google.com/asdfsf')
>>> a.getcode()
404
>>> a=urllib.urlopen('http://www.google.com/')
>>> a.getcode()
200

要在python 3中使用,只需使用from urllib.request import urlopen
Nathanael Farley

4
在python 3.4中,如果有404,则urllib.request.urlopen返回urllib.error.HTTPError
mcb

在python 2.7中不起作用。如果HTTP返回400,则会引发异常
Nadav B

86

您也可以使用urllib2

import urllib2

req = urllib2.Request('http://www.python.org/fish.html')
try:
    resp = urllib2.urlopen(req)
except urllib2.HTTPError as e:
    if e.code == 404:
        # do something...
    else:
        # ...
except urllib2.URLError as e:
    # Not an HTTP-specific error (e.g. connection refused)
    # ...
else:
    # 200
    body = resp.read()

请注意,它HTTPError是一个子类,URLError用于存储HTTP状态代码。


第二else个错误吗?
Samy Bencherif

@NadavB异常对象'e'看起来像一个响应对象。也就是说,它类似于文件,您可以从中“读取”有效负载。
Joe Holloway

37

对于Python 3:

import urllib.request, urllib.error

url = 'http://www.google.com/asdfsf'
try:
    conn = urllib.request.urlopen(url)
except urllib.error.HTTPError as e:
    # Return code error (e.g. 404, 501, ...)
    # ...
    print('HTTPError: {}'.format(e.code))
except urllib.error.URLError as e:
    # Not an HTTP-specific error (e.g. connection refused)
    # ...
    print('URLError: {}'.format(e.reason))
else:
    # 200
    # ...
    print('good')

对于URLError print(e.reason)可以使用。
Gitnik

http.client.HTTPException
CMCDragonkai '18年

6
import urllib2

try:
    fileHandle = urllib2.urlopen('http://www.python.org/fish.html')
    data = fileHandle.read()
    fileHandle.close()
except urllib2.URLError, e:
    print 'you got an error with the code', e

5
TIMEX有兴趣获取http请求代码(200、404、500等),而不是urllib2引发的一般错误。
约书亚伯恩斯
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.