Python结构的内存大小


118

是否有关于32位和64位平台上Python数据结构的内存大小的参考?

如果没有,那么将其放在SO上会很好。越详尽越好!那么以下Python结构使用了多少字节(取决于相关时的len和内容类型)?

  • int
  • float
  • 参考
  • str
  • unicode字符串
  • tuple
  • list
  • dict
  • set
  • array.array
  • numpy.array
  • deque
  • 新型类对象
  • 旧式类对象
  • ...以及我忘记的一切!

(对于仅保留对其他对象的引用的容器,我们显然不希望自己计算项目的大小,因为它可能是共享的。)

此外,是否有一种方法可以获取对象在运行时使用的内存(递归与否)?


在这里stackoverflow.com/questions/1059674/python-memory-model可以找到很多有用的解释。我希望看到一个更系统的概述,虽然
LeMiz

3
对于NumPy数组a,请使用a.nbytes
2014年

如果您对此图形化视图感兴趣,则可以对它进行一次绘制:stackoverflow.com/a/30008338/2087463
tmthydvnprt

Answers:


145

对此先前的问题提出的建议是使用sys.getsizeof(),并引用:

>>> import sys
>>> x = 2
>>> sys.getsizeof(x)
14
>>> sys.getsizeof(sys.getsizeof)
32
>>> sys.getsizeof('this')
38
>>> sys.getsizeof('this also')
48

您可以采用这种方法:

>>> import sys
>>> import decimal
>>> 
>>> d = {
...     "int": 0,
...     "float": 0.0,
...     "dict": dict(),
...     "set": set(),
...     "tuple": tuple(),
...     "list": list(),
...     "str": "a",
...     "unicode": u"a",
...     "decimal": decimal.Decimal(0),
...     "object": object(),
... }
>>> for k, v in sorted(d.iteritems()):
...     print k, sys.getsizeof(v)
...
decimal 40
dict 140
float 16
int 12
list 36
object 8
set 116
str 25
tuple 28
unicode 28

2012-09-30

python 2.7(Linux,32位):

decimal 36
dict 136
float 16
int 12
list 32
object 8
set 112
str 22
tuple 24
unicode 32

python 3.3(Linux,32位)

decimal 52
dict 144
float 16
int 14
list 32
object 8
set 112
str 26
tuple 24
unicode 26

2016-08-01

OSX,Python 2.7.10(默认,2015年10月23日,19:19:21)[darwin上的[GCC 4.2.1兼容Apple LLVM 7.0.0(clang-700.0.59.5)]

decimal 80
dict 280
float 24
int 24
list 72
object 16
set 232
str 38
tuple 56
unicode 52

1
谢谢,对第二个问题的歉意...太糟糕了,我使用的是2.5而不是2.6 ...
LeMiz

我忘了我有一个装有最近ubuntu的虚拟盒子!这很奇怪,对我来说sys.getsizeof(dict)是136(在OS X托管的kubuntu vm上运行python 2.6,所以我不确定)
LeMiz

@LeMiz:对我来说(Python 2.6,Windows XP SP3),sys.getsizeof(dict)-> 436; sys.getsizeof(dict())-> 140
John Machin

LeMiz-Kubuntu:python2.6 Python 2.6.2(release26-maint,2009年4月19日,01:56:41)在linux2上的[GCC 4.3.3]键入“帮助”,“版权”,“信用”或“许可证”想要查询更多的信息。>>>导入sys >>> sys.getsizeof(dict)436 >>> sys.getsizeof(dict())136
LeMiz

1
不应该值是00.0''u''一致性?
SilentGhost

37

我一直很高兴地将pympler用于此类任务。它与许多版本的Python兼容- asizeof特别是该模块可以追溯到2.2!

例如,使用hughdbrown的示例,但from pympler import asizeof在开头和print asizeof.asizeof(v)结尾处都看到了(MacOSX 10.5上的系统Python 2.5):

$ python pymp.py 
set 120
unicode 32
tuple 32
int 16
decimal 152
float 16
list 40
object 0
dict 144
str 32

显然这里有一些近似值,但是我发现它对于足迹分析和调整非常有用。


1
有些好奇:你们大多数人的数字高4;对象为0;小数点大约是您估计的4倍。
hughdbrown

1
是的 实际上,“高4”看起来就像“四舍五入到8的整数”,我相信这对malloc的行为方式是正确的。不知道为什么小数会如此失真(在2.6上也使用pympler)。
Alex Martelli

2
实际上,您应该使用pympler.asizeof.flatsize()获得与sys.getsizeof()类似的功能。您还可以使用align =参数(Alex指出默认为8)。
Pankrat

@AlexMartelli嗨,Alex!..为什么python中char的最小大小为25个字节。 >>> getsizeof('a')25>>> getsizeof('ab')26`
Grijesh肖汉

1
我想大小是以字节为单位的,但是为什么它没有写在任何地方,即使是在pythonhosted.org/Pympler中
-Zhomart

35

这些答案都收集浅层尺寸信息。我怀疑访问此问题的访客最终将在这里回答以下问题:“此复杂对象在内存中有多大?”

这里有一个很好的答案:https : //goshippo.com/blog/measure-real-size-any-python-object/

重点:

import sys

def get_size(obj, seen=None):
    """Recursively finds size of objects"""
    size = sys.getsizeof(obj)
    if seen is None:
        seen = set()
    obj_id = id(obj)
    if obj_id in seen:
        return 0
    # Important mark as seen *before* entering recursion to gracefully handle
    # self-referential objects
    seen.add(obj_id)
    if isinstance(obj, dict):
        size += sum([get_size(v, seen) for v in obj.values()])
        size += sum([get_size(k, seen) for k in obj.keys()])
    elif hasattr(obj, '__dict__'):
        size += get_size(obj.__dict__, seen)
    elif hasattr(obj, '__iter__') and not isinstance(obj, (str, bytes, bytearray)):
        size += sum([get_size(i, seen) for i in obj])
    return size

像这样使用:

In [1]: get_size(1)
Out[1]: 24

In [2]: get_size([1])
Out[2]: 104

In [3]: get_size([[1]])
Out[3]: 184

如果您想更深入地了解Python的内存模型,这里有一篇很棒的文章,其中有类似的“总大小”代码段,作为较长说明的一部分:https : //code.tutsplus.com/tutorials/understand-how-您的Python记忆体大量使用--CMS-25609


因此,这应该产生例如包含多个数组的dict和/或其他dict使用的内存总量。
Charly Empereur-mot

1
@ CharlyEmpereur-mot是的。
Kobold

好答案。但是,它似乎不适用于已编译的cython对象。以我96为例,此方法返回指向内存中cython对象的指针
ferdynator

8

尝试使用内存探查器。 内存分析器

Line #    Mem usage  Increment   Line Contents
==============================================
     3                           @profile
     4      5.97 MB    0.00 MB   def my_func():
     5     13.61 MB    7.64 MB       a = [1] * (10 ** 6)
     6    166.20 MB  152.59 MB       b = [2] * (2 * 10 ** 7)
     7     13.61 MB -152.59 MB       del b
     8     13.61 MB    0.00 MB       return a

1
精度似乎是1 / 100MB或10.24字节。这对于宏分析来说很好,但是我怀疑这种精度是否会导致对问题中所要求的数据结构进行准确的比较。
Zoran Pavlovic

7

您也可以使用guppy模块。

>>> from guppy import hpy; hp=hpy()
>>> hp.heap()
Partition of a set of 25853 objects. Total size = 3320992 bytes.
 Index  Count   %     Size   % Cumulative  % Kind (class / dict of class)
     0  11731  45   929072  28    929072  28 str
     1   5832  23   469760  14   1398832  42 tuple
     2    324   1   277728   8   1676560  50 dict (no owner)
     3     70   0   216976   7   1893536  57 dict of module
     4    199   1   210856   6   2104392  63 dict of type
     5   1627   6   208256   6   2312648  70 types.CodeType
     6   1592   6   191040   6   2503688  75 function
     7    199   1   177008   5   2680696  81 type
     8    124   0   135328   4   2816024  85 dict of class
     9   1045   4    83600   3   2899624  87 __builtin__.wrapper_descriptor
<90 more rows. Type e.g. '_.more' to view.>

和:

>>> hp.iso(1, [1], "1", (1,), {1:1}, None)
Partition of a set of 6 objects. Total size = 560 bytes.
 Index  Count   %     Size   % Cumulative  % Kind (class / dict of class)
     0      1  17      280  50       280  50 dict (no owner)
     1      1  17      136  24       416  74 list
     2      1  17       64  11       480  86 tuple
     3      1  17       40   7       520  93 str
     4      1  17       24   4       544  97 int
     5      1  17       16   3       560 100 types.NoneType

0

也可以使用tracemallocPython标准库中的模块。对于类是用C实现的对象来说,它似乎工作得很好(例如,与Pympler不同)。


-1

使用dir([object])内置功能时,可以获得__sizeof__内置功能的。

>>> a = -1
>>> a.__sizeof__()
24
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.