为什么协方差估计量的分母不应该是n-2而不是n-1？

（无偏）方差估计量的分母为因为有观测值，并且仅估计了一个参数。$n-1$$n$

同样，我想知道为什么在估计两个参数时协方差的分母为何不为？$n-2$

协方差是方差。

自从极化身份

分母必须相同。

特例应该给你一个直觉。考虑以下几点：

您很高兴后者是，贝塞尔校正。$\frac{\sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)^{2}}{n-1}$

但用通过在为前者给出，那么您认为什么最好填补空白？$Y$$X$$\hat{\mathbb{Cov}}\left(X, Y\right)$$\frac{\sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)\left(X_{i}-\overline{X}\right)}{\text{mystery denominator}}$

快速而肮脏的答案...让我们首先考虑；如果您有具有已知期望值观测值，则可以使用来估计方差。$\text{var}(X)$$n$ $E(X) = 0$${1\over n}\sum_{i=1}^n X_i^2$

期望值未知，您可以将取，将观测值转换为已知期望值的观测值。您将得到一个分母为的公式-但是不是独立的，您必须考虑到这一点；最后，您会发现通常的公式。$n$$n-1$$A_i = X_i - X_1$$i = 2, \dots,n$$n-1$$A_i$

现在，对于协方差，您可以使用相同的想法：如果的期望值为，则公式中将有。通过将减去所有其他观察值，您将获得具有已知期望值的观察值...以及公式中的 -再次，这引入了一些依赖关系帐户。$(X,Y)$$(0,0)$${1\over n}$$(X_1,Y_1)$$n-1$${1\over n-1}$

PS这样做的干净方法是选择的正交基，即向量这样$\big\langle (1, \dots, 1)' \big\rangle^{\perp}$$n-1$$c_1, \dots, c_{n-1} \in \mathbb R^n$

• $\sum_j c_{ij}^2 = 1$对于所有，$i$
• $\sum_j c_{ij} = 0$对于所有，$i$
• $\sum_j c_{i_1j} c_{i_2j} = 0$对于所有。$i_1 \ne i_2$

然后可以定义变量和。的是独立的，有预期值并且具有相同的方差/协方差比原来的变量。$n-1$$A_i = \sum_j c_{ij} X_j$$B_i = \sum_j c_{ij} Y_j$$(A_i,B_i)$$(0,0)$

关键是，如果您想摆脱未知的期望，则可以丢弃一个（并且只有一个）观察值。这两种情况下的工作原理相同。

这证明分母为的p变量样本协方差估计量是协方差矩阵的无偏估计量：$\frac{1}{n-1}$

$x' = (x_1,...,x_p)$。

$\Sigma= E((x-\mu)(x-\mu)')$

$S = \frac{1}{n} \sum (x_i - \bar{x})(x_i - \bar{x})'$

显示：$E(S) = \frac{n-1}{n}\Sigma$

证明：$S= \frac{1}{n}\sum x_ix_i' - \bar{x}\bar{x}'$

下一个：

（1）$E(x_ix_i') = \Sigma + \mu\mu'$

（2）$E(\bar{x}\bar{x}') = \frac{1}{n} \Sigma+ \mu\mu'$

因此：$E(S) = \Sigma + \mu\mu' - (\frac{1}{n} \Sigma+ \mu\mu') = \frac{n-1}{n} \Sigma$

因此，的最终分母是无偏的。的非对角元素是您的个体样本协方差。$S_u = \frac{n}{n-1}S$$\frac{1}{n-1}$$S_u$

附加说明：

1. n次抽签是独立的。在（2）中使用它来计算样本均值的协方差。

2. 步骤（1）和（2）使用$Cov(x)= E[xx']-\mu\mu'$

3. 步骤（2）使用$Cov(\bar{x})= \frac{1}{n}\Sigma$

我猜想在使用'n-1'而不是'n-2'来建立直觉的一种方法是-为了计算协方差，我们不需要去均化X和Y，而是两者均是不均值。

1）开始。$df=2n$

2）样本协方差与。输了两个；一个来自，一个来自导致。$\Sigma_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})$$df$$\bar{X}$$\bar{Y}$$df=2(n-1)$

3）但是，仅包含独立的术语，每个产品中包含一个。当两个数字相乘时，来自每个单独数字的独立信息就会消失。$\Sigma_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})$$n$

举例来说，

$24=1*24=2*12=3*8=4*6=6*4=8*3=12*2=24*1$，

并且不包括无理数和分数，例如，因此，当我们将两个数字序列相乘并检查其乘积时，我们看到的只是在一个数字序列中，由于我们已经丢失了一半的原始信息，也就是说，在进行成对分组为一个数字（即乘法）之前，这两个数字是什么。$24=2\sqrt{6}*2\sqrt{6}$$df=n-1$

换句话说，在不失一般性的前提下，我们可以写

$(X_i-\bar{X})(Y_i-\bar{Y})=z_i-\bar{z}$对于某些和，$z_i$$\bar{z}$

即，以及。从显然具有的，协方差公式变为$z_i=X_iY_i-\bar{X}Y_i-X_i\bar{Y}$$\bar{z}=\bar{X}\bar{Y}$$z$$df=n-1$

$\Sigma_{i=1}^n\frac{z_i-\bar{z}}{n-1}=$

$\Sigma_{i=1}^n\frac{[(X_i-\bar{X})(Y_i-\bar{Y})]}{n-1}=$

$\frac{1}{n-1}\Sigma_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})$。

因此，问题的答案是通过分组将减半。$df$