与常规Python列表相比，NumPy有什么优势？

466

我大约有100个金融市场系列，我将创建一个100x100x100 = 1百万个单元的多维数据集数组。我将每个x与y和z回归（3变量），以用标准误差填充数组。

我听说对于“大型矩阵”，出于性能和可伸缩性的原因，我应该使用NumPy而不是Python列表。事实是，我知道Python列表，它们似乎对我有用。

如果我转到NumPy，会有什么好处？

如果我有1000个序列（即立方体中有10亿个浮点单元）怎么办？

— 托马斯·布朗
source

727

NumPy的数组比Python列表更紧凑-您在Python中描述的列表列表至少需要20 MB左右，而单元格中具有单精度浮点数的NumPy 3D数组则需要4 MB。使用NumPy可以更快地读取和写入项目。

也许您只关心一百万个单元就不会那么在意，但是您肯定会关心十亿个单元-两种方法都不适合32位体系结构，但是使用64位版本，NumPy可以节省约4 GB ，仅Python一项就至少需要12 GB（很多指针的大小加倍），这是一个昂贵得多的硬件！

差异主要是由于“间接性”造成的-Python列表是指向Python对象的指针的数组，每个指针至少4个字节，对于最小的Python对象也至少包含16个字节（类型指针为4，引用计数为4，类型为4值-内存分配器舍入为16）。NumPy数组是统一值的数组-单精度数字每个占用4个字节，双精度数字每个占用8个字节。灵活性较差，但您要为标准Python列表的灵活性付出高昂的代价！

— 亚历克斯·马特利
source

我一直在尝试使用“ sys.getsizeof（）”来比较具有相同数量元素的Python列表和NumPy数组的大小，但这似乎并不表明NumPy数组要小得多。是这种情况还是sys.getsizeof（）在计算NumPy数组的大小时遇到问题？

— 杰克·辛普森

3

@JackSimpson getsizeof不可靠。该文档明确指出：仅考虑直接归因于对象的内存消耗，而不考虑它所引用的对象的内存消耗。 这意味着，如果您嵌套了python列表，则不会考虑元素的大小。

— 巴库里

4

getsizeof列表上的内容仅告诉您列表对象本身消耗了多少RAM以及其数据数组中的指针消耗的RAM，而没有告诉您这些指针引用的对象消耗了多少RAM。

— 下午16年

@AlexMartelli，能否让我知道您从哪里获得这些电话号码？

— lmiguelvargasf

请注意，您对等效Python列表列表的大小的估计不正确。C float的4 GB numpy数组（4个字节）将转换为接近32 GB的lists和Python floats（实际上是C double），而不是12 GB。每个float在64位Python上占用约24个字节（假设分配器中没有对齐损失），另加8个字节list来保存引用（并且忽略lists本身的过度分配和对象标头，这可能会增加另一个GB，具体取决于究竟发生了多少超额分配）。

— ShadowRanger

232

NumPy不仅效率更高；这也更加方便。您可以免费获得许多矢量和矩阵运算，有时这可以避免不必要的工作。而且它们也得到有效实施。

例如，您可以将多维数据集直接从文件读取到数组中：

x = numpy.fromfile(file=open("data"), dtype=float).reshape((100, 100, 100))

沿第二维求和：

s = x.sum(axis=1)

查找哪些单元格高于阈值：

(x > 0.5).nonzero()

删除沿第三维的每个偶数索引切片：

x[:, :, ::2]

同样，许多有用的库都可以与NumPy数组一起使用。例如，统计分析和可视化库。

即使您没有性能问题，学习NumPy也是值得的。

— 罗伯托·邦瓦莱特
source

谢谢-您在第三个示例中提供了另一个很好的理由，实际上，我将在矩阵中搜索阈值以上的单元。而且，我是从sqlLite加载的。文件方法将更加有效。

— Thomas Browne 2009年

112

Alex提到了内存效率，Roberto提到了便利性，这些都是不错的地方。对于其他一些想法，我将提到速度和功能。

功能性：NumPy，FFT，卷积，快速搜索，基本统计信息，线性代数，直方图等都内置了很多功能。实际上，没有FFT谁能活下去？

速度：这是一项对列表和NumPy数组求和的测试，表明NumPy数组的求和速度快10倍（在此测试中，里程可能会有所不同）。

from numpy import arange
from timeit import Timer

Nelements = 10000
Ntimeits = 10000

x = arange(Nelements)
y = range(Nelements)

t_numpy = Timer("x.sum()", "from __main__ import x")
t_list = Timer("sum(y)", "from __main__ import y")
print("numpy: %.3e" % (t_numpy.timeit(Ntimeits)/Ntimeits,))
print("list:  %.3e" % (t_list.timeit(Ntimeits)/Ntimeits,))

在我的系统上（运行备份时），它会给出：

numpy: 3.004e-05
list:  5.363e-04

— 汤姆10
source

44

这是scipy.org网站上的常见问题解答中的一个很好的答案：

与（嵌套）Python列表相比，NumPy数组有什么优势？

Python的列表是有效的通用容器。它们支持（相当）高效的插入，删除，附加和连接，并且Python的列表理解使它们易于构造和操作。但是，它们有一定的局限性：它们不支持“向量化”操作，例如逐元素加法和乘法，并且它们可以包含不同类型的对象这一事实意味着Python必须为每个元素存储类型信息，并且必须执行类型分派代码在每个元素上操作时。这也意味着有效的C循环几乎无法执行列表操作-每次迭代都需要类型检查和其他Python API簿记。

— 埃利泽
source

9

所有人都强调了numpy数组和python列表之间的几乎所有主要区别，在这里我将向大家简单介绍一下：

Numpy数组在创建时具有固定的大小，这与python列表（可以动态增长）不同。更改ndarray的大小将创建一个新数组并删除原始数组。
Numpy数组中的所有元素都必须具有相同的数据类型（我们也可以具有异构类型，但这将不允许您进行数学运算），因此在内存中的大小将相同
Numpy数组有助于对大量数据进行数学运算和其他类型的运算。通常，与使用python顺序构建相比，此类操作执行效率更高且代码更少

— 帕尔韦兹·汗
source