如何查看Python应用程序发送的整个HTTP请求?


263

就我而言,我正在使用该requests库通过HTTPS调用PayPal的API。不幸的是,我从贝宝(PayPal)收到错误消息,贝宝(PayPal)支持人员无法弄清错误是什么或由什么引起的。他们要我“请提供整个请求,包括标头”。

我怎样才能做到这一点?

Answers:


498

一种简单的方法:启用登录请求的最新版本(1.x及更高版本)。

请求用途http.clientlogging模块配置到控制日志记录级别,如所描述这里

示范

从链接文档中摘录的代码:

import requests
import logging

# These two lines enable debugging at httplib level (requests->urllib3->http.client)
# You will see the REQUEST, including HEADERS and DATA, and RESPONSE with HEADERS but without DATA.
# The only thing missing will be the response.body which is not logged.
try:
    import http.client as http_client
except ImportError:
    # Python 2
    import httplib as http_client
http_client.HTTPConnection.debuglevel = 1

# You must initialize logging, otherwise you'll not see debug output.
logging.basicConfig()
logging.getLogger().setLevel(logging.DEBUG)
requests_log = logging.getLogger("requests.packages.urllib3")
requests_log.setLevel(logging.DEBUG)
requests_log.propagate = True

requests.get('https://httpbin.org/headers')

示例输出

$ python requests-logging.py 
INFO:requests.packages.urllib3.connectionpool:Starting new HTTPS connection (1): httpbin.org
send: 'GET /headers HTTP/1.1\r\nHost: httpbin.org\r\nAccept-Encoding: gzip, deflate, compress\r\nAccept: */*\r\nUser-Agent: python-requests/1.2.0 CPython/2.7.3 Linux/3.2.0-48-generic\r\n\r\n'
reply: 'HTTP/1.1 200 OK\r\n'
header: Content-Type: application/json
header: Date: Sat, 29 Jun 2013 11:19:34 GMT
header: Server: gunicorn/0.17.4
header: Content-Length: 226
header: Connection: keep-alive
DEBUG:requests.packages.urllib3.connectionpool:"GET /headers HTTP/1.1" 200 226

1
谢谢,@ EmmettJ.Butler =)虽然我不确定在最初查询时该信息是否可用。
激进主义者

9
请注意,httplib在Python 3上不可用。要使代码可移植,请替换import httplibimport requests.packages.urllib3.connectionpool as httplib或使用6和from six.moves import http_client as httplib
2014年

requests2.18.1和Python 3中,记录器logging.getLogger("requests.packages.urllib3")不存在或无效。
Flimm

1
对于Python3,请参见此处-docs.python-requests.org/en/latest/api/?highlight=debug from http.client import HTTPConnection
shershen

不幸的是,“ send:”,“ reply:”和“ header:”行实际上并未记录,而只是打印到stdout。但我想在日志文件中包含此信息!
lesnik

145
r = requests.get('https://api.github.com', auth=('user', 'pass'))

r是回应。它具有一个request属性,其中包含您需要的信息。

r.request.allow_redirects  r.request.headers          r.request.register_hook
r.request.auth             r.request.hooks            r.request.response
r.request.cert             r.request.method           r.request.send
r.request.config           r.request.params           r.request.sent
r.request.cookies          r.request.path_url         r.request.session
r.request.data             r.request.prefetch         r.request.timeout
r.request.deregister_hook  r.request.proxies          r.request.url
r.request.files            r.request.redirect         r.request.verify

r.request.headers 给出标题:

{'Accept': '*/*',
 'Accept-Encoding': 'identity, deflate, compress, gzip',
 'Authorization': u'Basic dXNlcjpwYXNz',
 'User-Agent': 'python-requests/0.12.1'}

然后r.request.data将主体作为映射。urllib.urlencode如果他们愿意,可以将其转换为:

import urllib
b = r.request.data
encoded_body = urllib.urlencode(b)

根据响应的类型,.data-attribute可能会丢失,而.body-attribute会在那里。


14
哪一个给我“整个请求,包括标头”?
克里斯·B

1
增加了一些。除了标题和正文之外,您还需要什么?
Skylar Saveland

8
我不确定他们在寻找什么。我希望能以精确的格式逐字节捕获通过网络传输的所有内容。
克里斯·B

18
就我而言,这是首选的方式。只有一个音符:在我response.request看来,这似乎是一个音符PreparedRequest。它没有.data.body而是。
Antti Haapala 2015年

2
您还可以使用完整的URL(带有querystring参数)response.url (有点不同,因为它不是response.request...
Chuck van der Linden

6

您可以使用HTTP Toolkit来做到这一点。

如果您需要在不更改代码的情况下快速执行此操作,则特别有用:您可以从HTTP Toolkit打开终端,从那里正常运行任何Python代码,并且可以查看每个HTTP / HTTPS的全部内容。立即提出要求。

有一个免费版本可以满足您的所有需求,并且它是100%开放源代码。

我是HTTP Toolkit的创建者;我实际上是自己构建的,以便不久前为我解决完全相同的问题!我也曾尝试调试付款集成,但他们的SDK无法正常工作,我无法告知原因,我需要知道实际情况如何对其进行正确修复。这非常令人沮丧,但是能够看到原始流量确实有所帮助。


5

如果您使用的是Python 2.x,请尝试安装urllib2打开器。尽管您可能必须将其与您用来击中HTTPS的其他开启器结合使用,但这应该可以打印出标题。

import urllib2
urllib2.install_opener(urllib2.build_opener(urllib2.HTTPHandler(debuglevel=1)))
urllib2.urlopen(url)

2

verbose配置选项可以让你看到你想要的东西。文档中一个示例

注意:请阅读以下注释:详细的配置选项似乎不再可用。


3
有?找不到。
巴斯蒂本

3
@坏猫。还有当时一个“详细记录”部分。看来它已在12月删除
布鲁诺

2
嗯,这可以解释这一点。:)不过,现在这个问题再次有效,因为我找不到打印服务器和客户端之间的全部流量以进行调试的方法。
巴斯蒂本

1
是否有推荐的“新方法”来实现与详细日志记录相同的效果?
cbare 2013年

1
我的答案演示了针对请求1.x及更高版本的正确方法。
激进主义者
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.