为什么numpy std()与matlab std()给出不同的结果?


87

我尝试将matlab代码转换为numpy,并发现numpy与std函数的结果不同。

在matlab中

std([1,3,4,6])
ans =  2.0817

在numpy中

np.std([1,3,4,6])
1.8027756377319946

这正常吗?我应该如何处理呢?

Answers:


145

NumPy函数np.std采用一个可选参数ddof:“自由度增量”。默认情况下是0。对其进行设置1以获取MATLAB结果:

>>> np.std([1,3,4,6], ddof=1)
2.0816659994661326

要添加更多上下文,在计算方差(标准偏差为平方根)时,通常将其除以我们拥有的值的数量。

但是,如果我们N从较大的分布中选择元素的随机样本并计算方差,则除以N可能导致实际方差的低估。为了解决这个问题,我们可以将除以(自由度)的数字降低为小于N(通常为N-1)的数字。该ddof参数允许我们按指定的数量更改除数。

除非另有说明,否则NumPy将计算方差(,除以)的有偏估计量。如果要使用整个分布(而不是从较大的分布中随机选择的值的子集),这就是您想要的。如果给定参数,则NumPy除以。ddof=0NddofN - ddof

MATLAB的默认行为std是通过除以校正样本方差的偏差N-1。这消除了标准偏差中的某些(但可能不是全部)偏差。如果您在较大分布的随机样本上使用该函数,则可能正是您想要的。

@hbaderts的不错回答给出了进一步的数学细节。


4
我将在Matlab中添加它,std([1 3 4 6],1)它等效于NumPy的default np.std([1,3,4,6])。所有这些在Matlab和NumPy的文档中都已清楚解释,因此,我强烈建议OP将来一定要阅读这些内容。
horchler 2014年

在某些时候,此标准已更改:np.std()= np.std(ddof = 1),即使文档说np.std()应该默认为ddof = 0 ...
ColinMac

61

标准偏差是方差的平方根。随机变量的方差X定义为

方差的定义

因此,方差的估算器为

有偏估计

其中样本平均值表示样本均值。对于随机选择xi,可以证明该估计量不收敛于实际方差,而是收敛于

无偏估计量

如果您随机选择样本并估计样本均值和方差,则必须使用校正后的(无偏)估计量

无偏估计量

会收敛到西格玛平方。校正项n-1也称为贝塞尔校正。

现在默认情况下,MATLAB std使用校正项来计算无偏估计量n-1。但是,NumPy(如@ajcr所述)默认情况下计算不带校正项的有偏估计量。该参数ddof允许设置任何校正项n-ddof。通过将其设置为1,您将获得与MATLAB中相同的结果。

同样,MATLAB允许添加第二个参数 w,该指定“称重方案”。默认值,w=0产生校正项n-1(无偏估计量),而对于w=1,只有n用作校正项(有偏估计量)。


2
在校正后的估算器的公式中,不应存在因数n(在总和内)。
Frunobulax '16

3
方差中n-1项背后的直觉:您已经使用样本来估计将用于近似方差的均值。这引入了相关性,从而ddof必须是1
的Matthias

@Frunobulax我已修正了后代的错字。原始等式中发生的是总和的上限未正确显示。它不是n放在求和符号的顶部,而是放在求和中。
rayryeng

4

对于那些不擅长统计的人,一个简单的指南是:

  • 包括ddof=1如果你计算np.std()从您的完整数据集取样。

  • 确保ddof=0您要计算np.std()的是全部人口

DDOF用于样品,以抵消可能出现在数字中的偏差。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.