如何理解方差的MLE在高斯分布中有偏差？

我正在阅读PRML，但我不了解图片。您能否提供一些提示以了解图片，以及为什么高斯分布中的MLE方差存在偏差？

公式1.55： 公式1.56

$$\mu_{MLE}=\frac{1}{N} \sum_{n=1}^N x_n$$ $$\sigma_{MLE}^2=\frac{1}{N}\sum_{n=1}^{N}(x_n-\mu_{MLE})^2$$

直觉

偏向是“来自”（完全不是一个技术术语），即被偏向。自然的问题是，“那么，为什么偏向呢？” 直觉是，在非平方样本均值中，有时我们会因高估而有时又由于低估而错过了真实值。但是，如果不进行平方运算，则高估和低估的趋势将相互抵消。但是，当我们平方，容易低估趋势（错过了的真实值$E[\bar{x}^2]$$\mu^2$$E[\bar{x}^2]$$\mu^2$$\mu$$\bar{x}$$\mu$负数）也平方，因此变为正数。因此，它不再抵消，并且有轻微的高估趋势。

如果尚不清楚为什么偏向的直觉，请尝试理解Jensen不等式背后的直觉（此处有很好的直观解释），并将其应用于。$x^2$$\mu^2$$E[x^2]$

让我们证明一个iid样本的方差MLE是有偏差的。然后，我们将分析验证我们的直觉。

证明

令。$\hat{\sigma}^2 = \frac{1}{N}\sum_{n = 1}^N (x_n - \bar{x})^2$

我们要显示。$E[\hat{\sigma}^2] \neq \sigma^2$

$$E[\hat{\sigma}^2] = E[\frac{1}{N}\sum_{n = 1}^N (x_n - \bar{x})^2] = \frac{1}{N}E[\sum_{n = 1}^N (x_n^2 - 2x_n\bar{x} + \bar{x}^2)] = \frac{1}{N}E[\sum_{n = 1}^N x_n^2 - \sum_{n = 1}^N 2x_n\bar{x} + \sum_{n = 1}^N \bar{x}^2]$$

使用和的事实，$\sum_{n = 1}^N x_n = N\bar{x}$$\sum_{n = 1}^N \bar{x}^2 = N\bar{x}^2$

$$\frac{1}{N}E[\sum_{n = 1}^N x_n^2 - \sum_{n = 1}^N 2x_n\bar{x} + \sum_{n = 1}^N \bar{x}^2] = \frac{1}{N}E[\sum_{n = 1}^N x_n^2 - 2N\bar{x}^2 + N\bar{x}^2]=\frac{1}{N}E[\sum_{n = 1}^N x_n^2 - N\bar{x}^2] = \frac{1}{N}E[\sum_{n = 1}^N x_n^2] - E[\bar{x}^2] = \frac{1}{N}\sum_{n = 1}^N E[x_n^2] - E[\bar{x}^2] \\= E[x_n^2] - E[\bar{x}^2]$$

由于由于来自相同分布的在上相等，因此接下来的最后一步。$E[x_n^2]$$n$

现在，回想方差的定义。从这里，我们得到以下$\sigma^2_x = E[x^2] - E[x]^2$

$$E[x_n^2] - E[\bar{x}^2] = \sigma^2_x + E[x_n]^2 - \sigma^2_\bar{x} - E[x_n]^2 = \sigma^2_x - \sigma^2_\bar{x} = \sigma^2_x - Var(\bar{x}) = \sigma^2_x - Var(\frac{1}{N}\sum_{n = 1}^Nx_n) = \sigma^2_x - \bigg(\frac{1}{N}\bigg)^2Var(\sum_{n = 1}^Nx_n)$$

请注意，从取出常量时，我们已经对它适当地平方了。请特别注意！$\frac{1}{N}$$Var()$

$$\sigma^2_x - \bigg(\frac{1}{N}\bigg)^2Var(\sum_{n = 1}^Nx_n) = \sigma^2_x - \bigg(\frac{1}{N}\bigg)^2N \sigma^2_x = \sigma^2_x - \frac{1}{N}\sigma^2_x = \frac{N-1}{N}\sigma^2_x$$

当然，这不等于。$\sigma_x^2$

分析验证我们的直觉

通过假设我们知道的值并将其插入上面的证明中，我们可以稍微验证一下直觉。由于我们现在知道，因此不再需要估计，因此我们再也不会用高估它了。让我们看看这“消除”了的偏差。$\mu$$\mu$$\mu^2$$E[\bar{x}^2]$$\hat{\sigma}^2$

令。$\hat{\sigma}_\mu^2 = \frac{1}{N}\sum_{n = 1}^N (x_n - \mu)^2$

根据以上证明，让我们从替换为真实值。$E[x_n^2] - E[\bar{x}^2]$$\bar{x}$$\mu$

$$E[x_n^2] - E[\mu^2] = E[x_n^2] - \mu^2 = \sigma^2_x + E[x_n]^2 - \mu^2= \sigma^2_x$$

这是公正的！