计算标准偏差时用除的直观解释？

我今天问类，为什么你被划分方误差之和，而不是与，计算标准差时。$n-1$$n$

我说过我不会在课堂上回答它（因为我不想进入无偏估计量），但后来我想知道- 为此有一个直观的解释吗？

用除数计算的标准偏差是根据样本计算得出的标准偏差，作为从中抽取样本的总体标准偏差的估计值。因为观测值平均而言平均地更接近样本均值，而不是总体均值，所以使用与样本均值的偏差计算得出的标准差会低估总体的期望标准差。使用而不是作为除数可以通过使结果稍大来进行校正。n − 1 $n-1$$n-1$$n$

请注意，当较小时，该校正具有比较大时更大的比例效应，这是我们想要的，因为当n较大时，样本均值很可能是总体均值的良好估计。$n$

当样本是总体时，因为样本均值是总体均值，所以我们将标准差以作为除数。$n$

（在括号内，我注意到，以“第二个时间点围绕已知的确定的均值重新开始”开头的内容，将无法满足发问者对直观解释的要求。）

一个常见的问题是，（分布的）方差的定义是围绕一个已知的，确定的均值最近出现的第二个时刻，而估计量则使用一个估计的均值。这种自由度的损失（给定平均值，您可以仅了解个数据值来重构数据集），需要使用而不是来“调整”结果。n − 1 $n-1$$n-1$$n$

这样的解释与方差分析和方差成分分析中的估计方差一致。这实际上只是一个特例。

需要作出一些调整是膨胀的方差，我认为，进行直观清晰与不只是一个有效的论点事后挥手。（我记得学生可能在1908年关于t检验的论文中曾提出过这样的论点。）为什么对方差的调整应恰好是的因数更难辩解，尤其是当您考虑调整后的SD 并非无偏估计量。（这只是方差的无偏估计量的平方根。无偏通常无法承受非线性变换。）因此，实际上，对SD进行正确调整以消除其偏斜并不是的因素。$n/(n-1)$$\sqrt{n/(n-1)}$ 都！

一些入门级教科书甚至不用理会调整后的sd：它们教一个公式（除以）。当我从这样的书中教书时，我首先对此做出了消极的反应，但是逐渐意识到了这种智慧：为了专注于概念和应用，作者剔除了所有无关紧要的数学技巧。事实证明，没有什么受到伤害，没有人被误导。$n$

根据定义，方差是通过取均值的平方差之和再除以大小来计算的。我们有一般的公式

μ$\sigma^2= \frac{\sum_{i}^{N}(X_i-\mu)^2}{N}$其中是均值，是人口总数。$\mu$$N$

根据该定义，还必须以此方式计算样本（例如样本）的方差。$t$

¯ X$\sigma^2_t= \frac{\sum_{i}^{n}(X_i-\overline{X})^2}{n}$其中是平均值，是这个小样本的大小。$\overline{X}$$n$

但是，通过样本方差，我们是指总体方差的估计量。我们如何仅使用样本中的值来估计？σ 2 σ $S^2$$\sigma^2$$\sigma^2$

根据上述公式，随机变量从样本均值偏离¯ X具有方差σ 2 吨。样本均值¯ X也从偏离μ，方差为σ $X$$\overline{X}$$\sigma^2_t$$\overline{X}$$\mu$因为样品是指从样品得到不同的值进行采样，并将其与平均的随机变量μ和方差σ$\frac{\sigma^2}{n}$$\mu$。（一个可以轻松证明。）$\frac{\sigma^2}{n}$

因此，大致，应该偏离μ与涉及两个方差所以加起来这两个，并得到一个方差σ 2 = σ 2 吨 + σ $X$$\mu$。通过解决这个问题，我们得到σ2=σ 2 Ť的连线 ×$\sigma^2=\sigma^2_t+\frac{\sigma^2}{n}$。更换σ 2 Ť的连线显示了我们对总体方差估计：$\sigma^2=\sigma^2_t \times\frac{n}{n-1}$$\sigma^2_t$

。$S^2= \frac{\sum_{i}^{n}(X_i-\overline{X})^2}{n-1}$

一个也可证明是真实的。$E[S^2]=\sigma^2$

这是一个总的直觉，但最简单的答案是对单元素样本的标准偏差未定义而不是为0进行了更正。

您可以仅通过几何来获得对项的更深入理解，不仅是为什么它不是n，而且为什么要采用这种形式，但是您可能首先需要建立直觉来应对n维几何。然而，从那里开始，这是更深入了解线性模型（即模型df和残差df）的自由度的一小步。我认为毫无疑问，费舍尔就是这么想的。这是逐步建立起来的一本书：$n-1$$n$$n$

萨维尔DJ，伍德·格林。统计方法：几何方法。第三版。纽约：施普林格出版社；1991年。560页。9780387975177

（是的，共560页。我的确是逐步说出来的。）

当将总体方差的估计值应用于总体样本时，它会产生偏差。为了调整该偏差，需要除以n-1而不是n。从数学上可以看出，当我们除以n-1而不是n时，样本方差的估计量是无偏的。此处提供正式证明：

https://economictheoryblog.com/2012/06/28/latexlatexs2/

我想，最初是由数学上的正确性得出的公式。但是，如果要在公式中增加直觉，已经提到的建议似乎是合理的。

首先，对样本的观察平均而言更接近样本平均值而不是总体平均值。方差估计量利用样本均值，因此低估了总体的真实方差。除以n-1而不是n可以校正该偏差。

此外，除以n-1会使一元样本的方差不确定，而不是零。

为什么要除以而不是n？因为它是惯例，并且导致方差的无偏估计。但是，这会导致标准偏差的估计偏倚（较低），这可以通过将Jensen不等式应用于凹函数平方根来看出。$n-1$$n$

那么，拥有一个无偏估计量有什么好处呢？它不一定使均方误差最小。正态分布的MLE是除以而不是n - 1。教会学生思考，而不是反省和漫不经心地应用一个世纪以前的过时概念。$n$$n-1$

它是公知的（或很容易证明），该二次具有极值在ž = - $\alpha z^2 + 2\beta z + \gamma$。这表明，对于任何给定的n个实数x1，x2，…，xn，量 G（a）= n ∑ i=1（xi−a）2=（ n ∑ i = 1 x 2 i）−2a（ n ∑ i = 1 xi）+$z = -\frac{\beta}{\alpha}$$n$$x_1, x_2, \ldots, x_n$ 当 a = 1时具有最小值

$$G(a) = \sum_{i=1}^n (x_i-a)^2 = \left(\sum_{i=1}^n x_i^2\right) -2a\left(\sum_{i=1}^n x_i\right) + na^2,$$ 。$\displaystyle a = \frac 1n \sum_{i=1}^n x_i =\bar{x}$

现在，假设是尺寸的样品ñ从具有未知平均值的分布μ和未知的方差σ 2。我们可以估计μ为$x_i$$n$$\mu$$\sigma^2$$\mu$这是很容易计算的，而是试图估计σ2 为$\frac 1n \sum_{i=1}^n x_i = \bar{x}$$\sigma^2$$\frac 1n \sum_{i=1}^n (x_i-\mu)^2 = n^{-1}G(\mu)$$\mu$$G(\bar{x})$$G(\mu) \geq G(\bar{x})$$G(\mu)$$G(\mu)$$G(\bar{x})$$\frac{n}{n-1}$

$$G(\mu) \approx \frac{n}{n-1}G(\bar{x})\tag{1}$$ $\displaystyle n^{-1}G(\mu)= \frac 1n\sum_{i=1}^n(x_i-\mu)^2$$\displaystyle \frac{1}{n-1}G(\bar{x}) = \frac{1}{n-1}\sum_{i=1}^n (x_i-\bar{x})^2.$

$(1)$

$$\begin{align} G(\mu) &= \sum_{i=1}^n (x_i-\mu)^2\\ &= \sum_{i=1}^n (x_i-\bar{x} + \bar{x}-\mu)^2\\ &= \sum_{i=1}^n \left((x_i-\bar{x})^2 + (\bar{x}-\mu)^2 + 2(x_i-\bar{x})(\bar{x}-\mu)\right)\\ &= G(\bar{x}) + n(\bar{x}-\mu)^2 + (\bar{x}-\mu)\sum_{i=1}^n(x_i-\bar{x})\\ &= G(\bar{x}) + n(\bar{x}-\mu)^2 \tag{2} \end{align}$$ $\sum_{i=1}^n (x_i-\bar{x}) = n\bar{x}-n\bar{x} = 0$ $$\begin{align} n(\bar{x}-\mu)^2 &= n\frac{1}{n^2}\left(\sum_{i=1}^n(x_i-\mu)\right)^2\\ &= \frac 1n \sum_{i=1}^n(x_i-\mu)^2 + \frac 2n \sum_{i=1}^n\sum_{j=i+1}^n(x_i-\mu)(x_j-\mu)\\ &= \frac 1n G(\mu) + \frac 2n \sum_{i=1}^n\sum_{j=i+1}^n(x_i-\mu)(x_j-\mu)\tag{3} \end{align}$$ $x_i$$\mu$$\mu$$(x_i-\mu)(x_j-\mu)$$(3)$取正值和负值，因此发生许多抵消。因此，可以预期双和的绝对值较小，与相比，我们可以忽略它$\frac 1nG(\mu)$$(3)$$(2)$ $$G(\mu) \approx G(\bar{x}) + \frac 1nG(\mu) \Longrightarrow G(\mu) \approx \frac{n}{n-1}G(\bar{x})$$ $(1)$

$(x_i-x_j)^2/2$

$$s^2 = \frac{2}{n(n-1)}\sum_{i< j}\frac{(x_i-x_j)^2}{2} = \frac{1}{n-1}\sum_{i=1}^n(x_i-\bar{x})^2 .$$

$X$$Y$

$$V(X) = E\left(\frac{(X-Y)^2}{2}\right) = E((X-E(X))^2) .$$

从方差的随机变量定义到样本方差的定义是通过平均值来估计期望的问题，这可以通过典型性的哲学原理来证明：样本是分布的典型表示。（请注意，这与瞬时估算有关，但不相同。）

$N=1$$x$$\overline{m}=x$$1$

$$V=\frac{\sum_N (x_n - \overline{m} )^2}{N}$$

$$\overline{V}=\frac{(x-\overline{m})^2}{1} = 0\,.$$

$y$$x\neq y$$N-1=0$

$0$$d+1$$d$$d+1$

在胡布尔的建议下，这个答案已从另一个类似的问题中复制而来。

在使用样本方差作为真实方差的估计量时，采用贝塞尔校正来校正偏差。由于样本均值比真实均值更接近观测值的中间值，因此会出现未校正统计量的偏差，因此样本均值周围的平方偏差会系统地低估真实均值附近的平方偏差。

$S_*^2$$n$

$$\begin{equation} \begin{aligned} S_*^2 &= \frac{1}{n} \sum_{i=1}^n (X_i - \bar{X})^2 \\[8pt] &= \frac{1}{n} \sum_{i=1}^n (X_i^2 - 2 \bar{X} X_i + \bar{X}^2) \\[8pt] &= \frac{1}{n} \Bigg( \sum_{i=1}^n X_i^2 - 2 \bar{X} \sum_{i=1}^n X_i + n \bar{X}^2 \Bigg) \\[8pt] &= \frac{1}{n} \Bigg( \sum_{i=1}^n X_i^2 - 2 n \bar{X}^2 + n \bar{X}^2 \Bigg) \\[8pt] &= \frac{1}{n} \Bigg( \sum_{i=1}^n X_i^2 - n \bar{X}^2 \Bigg) \\[8pt] &= \frac{1}{n} \sum_{i=1}^n X_i^2 - \bar{X}^2. \end{aligned} \end{equation}$$

取得预期收益：

$$\begin{equation} \begin{aligned} \mathbb{E}(S_*^2) &= \frac{1}{n} \sum_{i=1}^n \mathbb{E}(X_i^2) - \mathbb{E} (\bar{X}^2) \\[8pt] &= \frac{1}{n} \sum_{i=1}^n (\mu^2 + \sigma^2) - (\mu^2 + \frac{\sigma^2}{n}) \\[8pt] &= (\mu^2 + \sigma^2) - (\mu^2 + \frac{\sigma^2}{n}) \\[8pt] &= \sigma^2 - \frac{\sigma^2}{n} \\[8pt] &= \frac{n-1}{n} \cdot \sigma^2 \\[8pt] \end{aligned} \end{equation}$$

$\sigma^2$$n-1$

通常，在分母中使用“ n”给出的值要小于我们要估计的总体方差。如果采集少量样本，尤其会发生这种情况。用统计学的话来说，样本方差提供了总体方差的“有偏”估计，需要使其“无偏”。

如果您正在寻找一个直观的解释，您应该让学生通过实际取样来了解自己的原因！观看此内容，它可以准确回答您的问题。

https://www.youtube.com/watch?v=xslIhnquFoE

$\bar{X} = \frac{1}{n}\sum_{i=1}^{n} X_i$$S^2 = \frac{1}{n-1}\sum_{i=1}^{n} (X_i - \bar{X})^2$$n - 1$

要回答这个问题，我们必须回到无偏估计量的定义。无偏估计量是指期望值趋于真实期望值的估计值。样本均值是一个无偏估计量。要了解原因：

$$E[\bar{X}] = \frac{1}{n}\sum_{i=1}^{n} E[X_i] = \frac{n}{n} \mu = \mu$$

让我们看一下样本方差的期望，

$$S^2 = \frac{1}{n-1} \sum_{i=1}^{n} (X_i^2) - n\bar{X}^2$$

$$E[S^2] = \frac{1}{n-1} \left( n E[(X_i^2)] - nE[\bar{X}^2] \right).$$

$\bar{X}$$E[\bar{X}^2]$$n-1$

$$E[S^2] = \frac{1}{n-1} \left( n (\mu^2 + \sigma^2) - n(\mu^2 + Var(\bar{X})) \right).$$ $$Var(\bar{X}) = Var(\frac{1}{n}\sum_{i=1}^{n} X_i) = \sum_{i=1}^{n} \frac{1}{n^2} Var(X_i) = \frac{\sigma^2}{n}$$

$$E[S^2] = \frac{1}{n-1} \left( n (\mu^2 + \sigma^2) - n(\mu^2 + \sigma^2/n) \right). = \frac{(n-1)\sigma^2}{n-1} = \sigma^2 \\ $$

$n$$n-1$$n-1$$S^2$

$\mu$$\sigma^2$$n$$\mu$

$$\sigma^2 \left(\frac{n+1}{n-1}\right),$$

$2n$

广义Student的T分布具有三个参数，并利用了所有三个统计量。如果决定放弃一些信息，则可以使用问题中所述的两参数正态分布来进一步近似数据。

从贝叶斯的角度来看，您可以想象模型的超参数的不确定性（均值和方差的分布）会导致后验预测的方差大于总体方差。

天哪，事情变得越来越复杂！我以为简单的答案是...如果您拥有所有数据点，则可以使用“ n”，但是如果您有“样本”，则假设它是一个随机样本，那么您在标准偏差内就有更多的样本点而不是外部（标准差的定义）。您只是没有足够的数据来确保随机获得所需的所有数据点。n-1有助于向“真实”标准偏差扩展。