建议使用哪个Python内存分析器?[关闭]


670

我想知道我的Python应用程序的内存使用情况,尤其想知道哪些代码块/部分或对象消耗了最多的内存。Google搜索显示商用的是Python Memory Validator(仅限Windows)。

开源的是PySizerHeapy

我没有尝试过任何人,所以我想知道哪个是最好的考虑因素:

  1. 提供大多数细节。

  2. 我必须要做最少的更改,也可以不做任何更改。


2
为了找到泄漏的来源,我建议使用objgraph。
pi。

9
@MikeiLL这里有一个类似这样的问题的地方:软件建议
Poik,2015年

2
这种情况经常发生,因此我们应该可以将一个问题迁移到另一个论坛。
zabumba '16

提示:如果有人使用gae并希望检查内存使用情况,这将是一个很大的麻烦,因为这些工具没有输出任何东西或事件未启动。如果要测试较小的内容,请将要测试的功能移到单独的文件中,然后单独运行此文件。
alexche8 2016年

4
我推荐pympler
zzzeek 2015年

Answers:


288

很容易使用。在代码中的某些时候,您必须编写以下代码:

from guppy import hpy
h = hpy()
print(h.heap())

这将为您提供如下输出:

Partition of a set of 132527 objects. Total size = 8301532 bytes.
Index  Count   %     Size   % Cumulative  % Kind (class / dict of class)
0  35144  27  2140412  26   2140412  26 str
1  38397  29  1309020  16   3449432  42 tuple
2    530   0   739856   9   4189288  50 dict (no owner)

您还可以从何处引用对象,并获取有关该对象的统计信息,但是以某种方式,该文档上的文档很少。

还有一个用Tk编写的图形浏览器。


24
如果你在Python 2.7版,您可能需要它的主干版本:sourceforge.net/tracker/...pip install https://guppy-pe.svn.sourceforge.net/svnroot/guppy-pe/trunk/guppy
詹姆斯斯奈德

27
笨重的文档...不好。但是我发现此博客文章对于入门非常有帮助:smira.ru/wp-content/uploads/2011/08/heapy.html
Joe Shaw

4
注意,heapy不包括在python扩展中分配的内存。如果有人想出了一种使boost::python对象包含很多对象的机制,那么很高兴看到一些例子!
amos

34
截至2014年7月6日,孔雀不支持Python的3
昆汀·普拉代

5
有一个支持Python 3的guppy分支,称为guppy3。
大卫·福斯特

385

由于没有人提到它,因此我将指向我的模块memory_profiler,该能够打印内存使用情况的报告,并且可以在Unix和Windows上运行(在最后一个版本中需要psutil)。输出不是很详细,但是目标是让您概述代码在哪里消耗了更多的内存,而不是对分配的对象进行详尽的分析。

在用函数修饰功能@profile并使用-m memory_profiler标记运行代码后,它将打印如下一行报告:

Line #    Mem usage  Increment   Line Contents
==============================================
     3                           @profile
     4      5.97 MB    0.00 MB   def my_func():
     5     13.61 MB    7.64 MB       a = [1] * (10 ** 6)
     6    166.20 MB  152.59 MB       b = [2] * (2 * 10 ** 7)
     7     13.61 MB -152.59 MB       del b
     8     13.61 MB    0.00 MB       return a

1
对于我的用例-一个简单的图像处理脚本,而不是一个复杂的系统(碰巧使一些游标保持打开状态)-这是最好的解决方案。非常简单地插入并弄清楚发生了什么,在代码中添加了最少的麻烦。非常适合快速修复,也可能非常适合其他应用程序。
2013年

10
我发现memory_profiler非常简单易用。我想按行而不是按对象进行性能分析。感谢您的来信。
tommy.carstensen

1
@FabianPedregosa剂量memory_profiler如何处理循环,标识符循环迭代次数可以吗?
Glen Fletcher 2014年

3
当它尝试报告逐行数量并且发现重复的行时,它仅隐式标识循环。在这种情况下,它将只占用所有迭代的最大值。
Fabian Pedregosa 2014年

1
@FabianPedregosa是否memory_profiler缓冲其输出?我可能做错了什么,但是它似乎不是在函数完成时转储该函数的配置文件,而是等待脚本结束。
Greenstick '18

80

我推荐Dowser。设置非常容易,您需要对代码进行零更改。您可以通过简单的Web界面随时查看每种类型的对象计数,查看活动对象列表,查看对活动对象的引用。

# memdebug.py

import cherrypy
import dowser

def start(port):
    cherrypy.tree.mount(dowser.Root())
    cherrypy.config.update({
        'environment': 'embedded',
        'server.socket_port': port
    })
    cherrypy.server.quickstart()
    cherrypy.engine.start(blocking=False)

您导入memdebug,然后调用memdebug.start。就这样。

我没有尝试过PySizer或Heapy。我会很感激别人的评论。

更新

上面的代码用于CherryPy 2.XCherryPy 3.Xserver.quickstart方法已删除,并且engine.start不带有该blocking标志。因此,如果您正在使用CherryPy 3.X

# memdebug.py

import cherrypy
import dowser

def start(port):
    cherrypy.tree.mount(dowser.Root())
    cherrypy.config.update({
        'environment': 'embedded',
        'server.socket_port': port
    })
    cherrypy.engine.start()

3
但是它仅适用于cherrypy,如何在单一脚本中使用它?
阿努拉格Uniyal

13
它不适合CherryPy。将CherryPy视为GUI工具箱。
sanxiyn

1
FWIW,在pysizer页pysizer.8325.org似乎建议heapy,它说的是类似的
雅各布Gabrielson

6
Dowser有一个名为Dozer的通用WSGI端口,也可以与其他Web服务器一起使用:pypi.python.org/pypi/Dozer
Joe Shaw

2
cherrypy 3.1删除了cherrypy.server.quickstart(),因此只需使用cherrypy.engine.start()
MatsLindh 2013年


18

up(还有另一个)是Python的Memory Usage Profiler。该工具集的重点在于识别内存泄漏。

Muppy试图帮助开发人员识别Python应用程序的内存泄漏。它可以跟踪运行时的内存使用情况,并标识泄漏的对象。另外,提供了一些工具,这些工具可以定位未释放对象的来源。


13

我正在为Python开发一个名为memprof的内存分析器:

http://jmdana.github.io/memprof/

它允许您在执行装饰方法期间记录和绘制变量的内存使用情况。您只需要使用以下方法导入库:

from memprof import memprof

并使用以下方法装饰您的方法:

@memprof

这是有关情节外观的示例:

在此处输入图片说明

该项目托管在GitHub中:

https://github.com/jmdana/memprof


3
如何使用?什么是a,b,c?
tommy.carstensen 2013年

@ tommy.carstensen ab并且c是变量的名称。您可以在github.com/jmdana/memprof上找到文档。如果您有任何疑问,请随时在github上提交问题,或发送电子邮件至可在文档中找到的邮件列表。
jmdana 2013年


By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.