在内存中一个Python结构的尺寸(In-memory size of a Python struc

2019-06-21 02:15发布

是否有Python数据stucture对32位和64位平台的内存大小的参考?

如果不是这样,这将是不错的它左右。 越详尽越好! 那么有多少字节由下面的Python结构(取决于所使用的len和内容类型时,相关的)?

  • int
  • float
  • 参考
  • str
  • unicode字符串
  • tuple
  • list
  • dict
  • set
  • array.array
  • numpy.array
  • deque
  • 新式的类对象
  • 老式类对象
  • ...一切,我忘了!

(对于只保留到其他对象的引用的容器,我们显然不想算项目本身的大小,因为它可能被共享。)

此外,有一种方式来获得在运行时(递归或不)使用由对象存储器?

Answer 1:

从推荐前面一个问题上,这是使用sys.getsizeof() ,报价:

>>> import sys
>>> x = 2
>>> sys.getsizeof(x)
14
>>> sys.getsizeof(sys.getsizeof)
32
>>> sys.getsizeof('this')
38
>>> sys.getsizeof('this also')
48

你可以采取这种做法:

>>> import sys
>>> import decimal
>>> 
>>> d = {
...     "int": 0,
...     "float": 0.0,
...     "dict": dict(),
...     "set": set(),
...     "tuple": tuple(),
...     "list": list(),
...     "str": "a",
...     "unicode": u"a",
...     "decimal": decimal.Decimal(0),
...     "object": object(),
... }
>>> for k, v in sorted(d.iteritems()):
...     print k, sys.getsizeof(v)
...
decimal 40
dict 140
float 16
int 12
list 36
object 8
set 116
str 25
tuple 28
unicode 28

2012-09-30

蟒2.7(Linux中,32位):

decimal 36
dict 136
float 16
int 12
list 32
object 8
set 112
str 22
tuple 24
unicode 32

蟒3.3(Linux操作系统,32位)

decimal 52
dict 144
float 16
int 14
list 32
object 8
set 112
str 26
tuple 24
unicode 26

2016年8月1日

OSX,Python的2.7.10(默认情况下,2015年10月23日,19时十九分21秒)[GCC 4.2.1兼容苹果LLVM 7.0.0(铛-700.0.59.5)]达尔文

decimal 80
dict 280
float 24
int 24
list 72
object 16
set 232
str 38
tuple 56
unicode 52


Answer 2:

我一直愉快地使用pympler此类任务。 这与Python的许多版本兼容-在asizeof在特定的模块可以追溯到2.2!

例如,使用hughdbrown的例子,但与from pympler import asizeof开始和print asizeof.asizeof(v)的尽头,我看到(系统的Python 2.5 MacOSX上10.5):

$ python pymp.py 
set 120
unicode 32
tuple 32
int 16
decimal 152
float 16
list 40
object 0
dict 144
str 32

很明显,有一些近似这里,但我已经找到了足迹分析和调整它非常有用。



Answer 3:

这些答案都收集浅大小信息。 我怀疑是游客到这个问题最终会在这里寻找回答这个问题,“有多大的内存这个复杂的对象吗?”

这里有一个伟大的答案: https://goshippo.com/blog/measure-real-size-any-python-object/

点睛之笔:

import sys

def get_size(obj, seen=None):
    """Recursively finds size of objects"""
    size = sys.getsizeof(obj)
    if seen is None:
        seen = set()
    obj_id = id(obj)
    if obj_id in seen:
        return 0
    # Important mark as seen *before* entering recursion to gracefully handle
    # self-referential objects
    seen.add(obj_id)
    if isinstance(obj, dict):
        size += sum([get_size(v, seen) for v in obj.values()])
        size += sum([get_size(k, seen) for k in obj.keys()])
    elif hasattr(obj, '__dict__'):
        size += get_size(obj.__dict__, seen)
    elif hasattr(obj, '__iter__') and not isinstance(obj, (str, bytes, bytearray)):
        size += sum([get_size(i, seen) for i in obj])
    return size

使用像这样:

In [1]: get_size(1)
Out[1]: 24

In [2]: get_size([1])
Out[2]: 104

In [3]: get_size([[1]])
Out[3]: 184

如果你想知道Python的内存模型更深入,这里有有相似的代码“累计大小”片段作为一个较长的解释具有很强的文章: https://code.tutsplus.com/tutorials/understand-how-多少记忆,你的Python对象使用- CMS-25609



Answer 4:

试试内存分析器。 内存分析器

Line #    Mem usage  Increment   Line Contents
==============================================
     3                           @profile
     4      5.97 MB    0.00 MB   def my_func():
     5     13.61 MB    7.64 MB       a = [1] * (10 ** 6)
     6    166.20 MB  152.59 MB       b = [2] * (2 * 10 ** 7)
     7     13.61 MB -152.59 MB       del b
     8     13.61 MB    0.00 MB       return a


Answer 5:

你也可以使用孔雀模块。

>>> from guppy import hpy; hp=hpy()
>>> hp.heap()
Partition of a set of 25853 objects. Total size = 3320992 bytes.
 Index  Count   %     Size   % Cumulative  % Kind (class / dict of class)
     0  11731  45   929072  28    929072  28 str
     1   5832  23   469760  14   1398832  42 tuple
     2    324   1   277728   8   1676560  50 dict (no owner)
     3     70   0   216976   7   1893536  57 dict of module
     4    199   1   210856   6   2104392  63 dict of type
     5   1627   6   208256   6   2312648  70 types.CodeType
     6   1592   6   191040   6   2503688  75 function
     7    199   1   177008   5   2680696  81 type
     8    124   0   135328   4   2816024  85 dict of class
     9   1045   4    83600   3   2899624  87 __builtin__.wrapper_descriptor
<90 more rows. Type e.g. '_.more' to view.>

和:

>>> hp.iso(1, [1], "1", (1,), {1:1}, None)
Partition of a set of 6 objects. Total size = 560 bytes.
 Index  Count   %     Size   % Cumulative  % Kind (class / dict of class)
     0      1  17      280  50       280  50 dict (no owner)
     1      1  17      136  24       416  74 list
     2      1  17       64  11       480  86 tuple
     3      1  17       40   7       520  93 str
     4      1  17       24   4       544  97 int
     5      1  17       16   3       560 100 types.NoneType


Answer 6:

当您使用dir([对象])的内置功能,可以sizeof运算的内置功能。

>>> a = -1
>>> a.__sizeof__()
24


文章来源: In-memory size of a Python structure