为什么我们对正态分布的使用有偏差和误导性的标准偏差公式？

20

第一次进行正态分布蒙特卡洛模拟时，我感到有些震惊，发现样本的标准偏差的平均值（样本大小均为要小得多比，即平均倍，即用于生成总体的。但是，这是众所周知的，如果很少记起，并且我确实知道，或者我不会进行模拟。这是一个模拟。 $100$ $100$ $n=2$ $\sqrt{\frac{2}{\pi }}$ $\sigma$

这是一个使用100，，和估计量来预测 95％置信区间的示例。 $N(0,1)$ $n=2$ $\text{SD}$ $\text{E}(s_{n=2})=\sqrt\frac{\pi}{2}\text{SD}$

 RAND()   RAND()    Calc    Calc    
 N(0,1)   N(0,1)    SD      E(s)    
-1.1171  -0.0627    0.7455  0.9344  
 1.7278  -0.8016    1.7886  2.2417  
 1.3705  -1.3710    1.9385  2.4295  
 1.5648  -0.7156    1.6125  2.0209  
 1.2379   0.4896    0.5291  0.6632  
-1.8354   1.0531    2.0425  2.5599  
 1.0320  -0.3531    0.9794  1.2275  
 1.2021  -0.3631    1.1067  1.3871  
 1.3201  -1.1058    1.7154  2.1499  
-0.4946  -1.1428    0.4583  0.5744  
 0.9504  -1.0300    1.4003  1.7551  
-1.6001   0.5811    1.5423  1.9330  
-0.5153   0.8008    0.9306  1.1663  
-0.7106  -0.5577    0.1081  0.1354  
 0.1864   0.2581    0.0507  0.0635  
-0.8702  -0.1520    0.5078  0.6365  
-0.3862   0.4528    0.5933  0.7436  
-0.8531   0.1371    0.7002  0.8775  
-0.8786   0.2086    0.7687  0.9635  
 0.6431   0.7323    0.0631  0.0791  
 1.0368   0.3354    0.4959  0.6216  
-1.0619  -1.2663    0.1445  0.1811  
 0.0600  -0.2569    0.2241  0.2808  
-0.6840  -0.4787    0.1452  0.1820  
 0.2507   0.6593    0.2889  0.3620  
 0.1328  -0.1339    0.1886  0.2364  
-0.2118  -0.0100    0.1427  0.1788  
-0.7496  -1.1437    0.2786  0.3492  
 0.9017   0.0022    0.6361  0.7972  
 0.5560   0.8943    0.2393  0.2999  
-0.1483  -1.1324    0.6959  0.8721  
-1.3194  -0.3915    0.6562  0.8224  
-0.8098  -2.0478    0.8754  1.0971  
-0.3052  -1.1937    0.6282  0.7873  
 0.5170  -0.6323    0.8127  1.0186  
 0.6333  -1.3720    1.4180  1.7772  
-1.5503   0.7194    1.6049  2.0115  
 1.8986  -0.7427    1.8677  2.3408  
 2.3656  -0.3820    1.9428  2.4350  
-1.4987   0.4368    1.3686  1.7153  
-0.5064   1.3950    1.3444  1.6850  
 1.2508   0.6081    0.4545  0.5696  
-0.1696  -0.5459    0.2661  0.3335  
-0.3834  -0.8872    0.3562  0.4465  
 0.0300  -0.8531    0.6244  0.7826  
 0.4210   0.3356    0.0604  0.0757  
 0.0165   2.0690    1.4514  1.8190  
-0.2689   1.5595    1.2929  1.6204  
 1.3385   0.5087    0.5868  0.7354  
 1.1067   0.3987    0.5006  0.6275  
 2.0015  -0.6360    1.8650  2.3374  
-0.4504   0.6166    0.7545  0.9456  
 0.3197  -0.6227    0.6664  0.8352  
-1.2794  -0.9927    0.2027  0.2541  
 1.6603  -0.0543    1.2124  1.5195  
 0.9649  -1.2625    1.5750  1.9739  
-0.3380  -0.2459    0.0652  0.0817  
-0.8612   2.1456    2.1261  2.6647  
 0.4976  -1.0538    1.0970  1.3749  
-0.2007  -1.3870    0.8388  1.0513  
-0.9597   0.6327    1.1260  1.4112  
-2.6118  -0.1505    1.7404  2.1813  
 0.7155  -0.1909    0.6409  0.8033  
 0.0548  -0.2159    0.1914  0.2399  
-0.2775   0.4864    0.5402  0.6770  
-1.2364  -0.0736    0.8222  1.0305  
-0.8868  -0.6960    0.1349  0.1691  
 1.2804  -0.2276    1.0664  1.3365  
 0.5560  -0.9552    1.0686  1.3393  
 0.4643  -0.6173    0.7648  0.9585  
 0.4884  -0.6474    0.8031  1.0066  
 1.3860   0.5479    0.5926  0.7427  
-0.9313   0.5375    1.0386  1.3018  
-0.3466  -0.3809    0.0243  0.0304  
 0.7211  -0.1546    0.6192  0.7760  
-1.4551  -0.1350    0.9334  1.1699  
 0.0673   0.4291    0.2559  0.3207  
 0.3190  -0.1510    0.3323  0.4165  
-1.6514  -0.3824    0.8973  1.1246  
-1.0128  -1.5745    0.3972  0.4978  
-1.2337  -0.7164    0.3658  0.4585  
-1.7677  -1.9776    0.1484  0.1860  
-0.9519  -0.1155    0.5914  0.7412  
 1.1165  -0.6071    1.2188  1.5275  
-1.7772   0.7592    1.7935  2.2478  
 0.1343  -0.0458    0.1273  0.1596  
 0.2270   0.9698    0.5253  0.6583  
-0.1697  -0.5589    0.2752  0.3450  
 2.1011   0.2483    1.3101  1.6420  
-0.0374   0.2988    0.2377  0.2980  
-0.4209   0.5742    0.7037  0.8819  
 1.6728  -0.2046    1.3275  1.6638  
 1.4985  -1.6225    2.2069  2.7659  
 0.5342  -0.5074    0.7365  0.9231  
 0.7119   0.8128    0.0713  0.0894  
 1.0165  -1.2300    1.5885  1.9909  
-0.2646  -0.5301    0.1878  0.2353  
-1.1488  -0.2888    0.6081  0.7621  
-0.4225   0.8703    0.9141  1.1457  
 0.7990  -1.1515    1.3792  1.7286  

 0.0344  -0.1892    0.8188  1.0263  mean E(.)
                    SD pred E(s) pred   
-1.9600  -1.9600   -1.6049 -2.0114    2.5%  theor, est
 1.9600   1.9600    1.6049  2.0114   97.5%  theor, est
                    0.3551 -0.0515    2.5% err
                   -0.3551  0.0515   97.5% err

向下拖动滑块以查看总计。现在，我使用普通的SD估算器来计算平均值为零附近的95％置信区间，它们之间的差为0.3551标准偏差单位。E（s）估算器仅偏离0.0515标准偏差单位。如果人们估计标准偏差，平均值的标准误或t统计量，则可能存在问题。

我的推论如下，关于的两个值的总体平均值可以在任意位置，并且绝对不在，后者使绝对最小可能和平方，这样我们就大大低估了，如下所示 $\mu$ $x_1$ $\frac{x_1+x_2}{2}$ $\sigma$

wlog let，然后是，尽可能少的结果。 $x_2-x_1=d$ $\Sigma_{i=1}^{n}(x_i-\bar{x})^2$ $2 (\frac{d}{2})^2=\frac{d^2}{2}$

这意味着标准差计算为

$\text{SD}=\sqrt{\frac{\Sigma_{i=1}^{n}(x_i-\bar{x})^2}{n-1}}$ ，

是总体标准差（）的有偏估计。注意，在该公式中，我们将的自由度递减1并除以，即进行一些校正，但这只是渐近正确的，而将是更好的经验法则。对于我们的示例，公式将为我们提供，这在统计上是令人难以置信的最小值，如其中更好的预期值（）。将 $\sigma$ $n$ $n-1$ $n-3/2$ $x_2-x_1=d$ $\text{SD}$ $SD=\frac{d}{\sqrt 2}\approx 0.707d$ $\mu\neq \bar{x}$ $s$ $E(s)=\sqrt{\frac{\pi }{2}}\frac{d}{\sqrt 2}=\frac{\sqrt\pi }{2}d\approx0.886d$ 。对于通常的计算，对于， s会遭受非常显着的低估（称为小数偏差），当约为时，它仅接近低估1％。由于许多生物学实验的，这确实是一个问题。对于，误差约为100,000的25份。通常，小数偏差校正表示正态分布的总体标准偏差的无偏估计为 $n<10$ $\text{SD}$ $\sigma$ $n$ $25$ $n<25$ $n=1000$

$\text{E}(s)\,=\,\,\frac{\Gamma\left(\frac{n-1}{2}\right)}{\Gamma\left(\frac{n}{2}\right)}\sqrt{\frac{\Sigma_{i=1}^{n}(x_i-\bar{x})^2}{2}}>\text{SD}=\sqrt{\frac{\Sigma_{i=1}^{n}(x_i-\bar{x})^2}{n-1}}\; .$

在Wikipedia的创用CC许可下，SD的被低估了 $\sigma$

由于SD是总体标准偏差的有偏估计量，因此除非我们满意地将其称为MVUE表示为，否则它不可能是总体标准差的最小方差无偏估计量MVUE，而我不是。 $n\rightarrow \infty$

关于非正态分布和近似无偏的请阅读此内容。 $SD$

现在出现问题Q1

是否可以证明上面的是样本大小的正态分布的的MVUE ，其中是大于1的正整数？ $\text{E}(s)$ $\sigma$ $n$ $n$

提示：（但不是答案）请参阅如何找到正态分布样本标准偏差的标准偏差？。

下一个问题，第二季度

有人可以向我解释为什么我们仍然使用，因为它显然有偏见和误导性吗？也就是说，为什么不对大多数内容使用？ $\text{SD}$ $\text{E}(s)$ 补充地，在下面的答案中已经清楚地表明，方差是无偏的，但其平方根是有偏的。我要求答案回答何时应使用无偏标准偏差的问题。

事实证明，部分答案是，为了避免上面的模拟出现偏差，可以对差异进行平均而不是对SD值进行平均。要查看其效果，如果我们对上面的SD列求平方，并对这些值求平均值，我们得到0.9994，其平方根是对标准偏差0.9996915的估计，而对于2.5％的尾部误差仅为0.0006。 -0.0006（95％的尾巴）。请注意，这是因为方差是累加的，因此将其平均是一个低误差的过程。但是，标准偏差是有偏差的，在那些我们无法使用方差作为中介的奢侈的情况下，我们仍然需要进行少量校正。即使我们可以使用方差作为中介，在这种情况下， $n=100$ ，小样本校正建议将无偏方差0.9996915的平方根乘以1.002528401，得出1.002219148作为标准差的无偏估计。因此，是的，我们可以延迟使用小数校正，但是因此我们应该完全忽略它吗？

这里的问题是，什么时候我们应该使用小数校正，而不是忽略它的使用，并且主要是我们避免了它的使用。

这是另一个示例，建立具有误差的线性趋势的空间中的最小点数为3。如果我们用普通的最小二乘法拟合这些点，则许多此类拟合的结果是存在非线性的折叠法线残差图案和存在线性的半法线。在半正态情况下，我们的分布均值需要进行少量校正。如果我们尝试使用4点或更多点的相同技巧，则该分布通常不会与正态相关或容易表征。我们可以使用方差以某种方式组合那些三点结果吗？也许，也许不是。但是，更容易根据距离和向量来考虑问题。

— 卡尔
source

评论不作进一步讨论；此对话已转移至聊天。

— ub

3

Q1：请参阅莱曼-谢夫定理。

— Scortchi-恢复莫妮卡

1

估计量的非零偏差不一定是缺点。例如，如果我们希望在平方损失下有一个准确的估计量，则我们愿意引起偏差，只要它能将方差减小足够大即可。例如，这就是为什么（有偏）正则估计量在线性回归模型中可能比（无偏）OLS估计量更好的原因。

— 理查德·哈迪

3

@Carl 许多术语在不同的应用领域中有不同的用法。如果您要发布到统计信息组中，并且使用诸如“偏差”之类的术语，则自然会假设您使用的是统计专用的术语的特定含义。如果你的意思什么东西，这是必须要么使用不同的术语或清楚界定您在第一次使用该术语的权利做的意思。

— Glen_b-恢复莫妮卡

2

“偏见”无疑是一个术语，它是专业或团体使用的难以让他人理解的特殊单词或表达，这在很大程度上似乎是“偏见”。这是因为此类术语在其应用领域中具有精确，专门的定义（包括数学定义），因此成为术语。

— Glen_b-恢复莫妮卡

34

对于更严格的问题

为什么通常使用有偏差的标准偏差公式？

简单的答案

因为相关的方差估计量是无偏的。没有真正的数学/统计依据。

在许多情况下可能是准确的。

但是，并不一定总是这样。这些问题至少应理解两个重要方面。

首先，样本方差不仅对高斯随机变量无偏。对于具有有限方差任何分布，它都是无偏的（如下所述，在我的原始答案中）。该问题指出对于并非无偏，并提出了对高斯随机变量无偏的另一种选择。但是需要注意的是不同的变化，对于标准差是重要不能够得到“分发免费的”无偏估计量（见下面的说明）。 $s^2$ $\sigma^2$ $s$ $\sigma$

其次，正如在评论中提到的那样，是有偏见的事实不会影响标准的“ t检验”。首先说明的是，对于高斯变量，如果我们估算从样品z得分作为那么这些都会有偏见。 $s$ $x$ $\{x_i\}$

ž_{一世} = \frac{X_{一世} - μ}{σ} \approx \frac{X_{一世} - \bar{X}}{s}

$z_i=\frac{x_i-\mu}{\sigma}\approx\frac{x_i-\bar{x}}{s}$

然而t统计量在所述的上下文中通常使用的采样分布的。在这种情况下，z得分将为尽管我们既不能计算也不能计算，因为我们不知道。但是，如果统计信息是正常的，则统计信息将遵循Student-t分布。这不是一个大的近似值。唯一的假设是样本是iid高斯。 $\bar{x}$

ž_{\bar{X}} = \frac{\bar{X} - μ}{σ_{\bar{X}}} \approx \frac{\bar{X} - μ}{s / \sqrt{ñ}} = Ť

$z_{\bar{x}}=\frac{\bar{x}-\mu}{\sigma_{\bar{x}}}\approx\frac{\bar{x}-\mu}{s/\sqrt{n}}=t$

z

$z$

t

$t$

μ

$\mu$

z_{\bar{x}}

$z_{\bar{x}}$

t

$t$

n

$n$

x

$x$

（通常，t检验更广泛地应用于可能的非高斯。这确实依赖于大，通过中心极限定理，该检验可确保仍为高斯。） $x$ $n$ $\bar{x}$

*澄清“无分布的无偏估计量”

“无分布”是指除样本之外，估算器不能依赖于总体任何信息。“无偏”是指预期误差始终为零，与样本大小无关。（与仅渐近无偏，也称为“ 一致 ” 的估计量相对，其偏差消失为。） $x$ $\{x_1,\ldots,x_n\}$ $\mathbb{E}[\hat{\theta}_n]-\theta$ $n$ $n\to\infty$

在评论这个被赋予为“无分布无偏估计量”的一个可能的例子。稍微抽象一下，该估计量的形式为，其中是峰度。此估算器不是 “无分布”的，因为取决于的分布。估计估计器满足，其中是的方差。因此，估算器是一致的，但不是（绝对）“无偏”，因为 $\hat{\sigma}=f[s,n,\kappa_x]$ $\kappa_x$ $x$ $\kappa_x$ $x$ $\mathbb{E}[\hat{\sigma}]-\sigma_x=\mathrm{O}[\frac{1}{n}]$ $\sigma_x^2$ $x$ $\mathrm{O}[\frac{1}{n}]$ 对于小可以任意大。 $n$

注意：以下是我的原始“答案”。从这里开始，评论是关于标准“样本”均值和方差的，这些均值和方差是“无分布”的无偏估计量（即，不假定总体为高斯分布）。

这不是一个完整的答案，而是关于为什么通常使用样本方差公式的说明。

给定一个随机样本，只要变量具有相同的均值，估计量将是无偏的，即 $\{x_1,\ldots,x_n\}$ $\bar{x}=\frac{1}{n}\sum_ix_i$

Ë [X_{一世}] = μ ⟹ Ë [\bar{X}] = μ

$\mathbb{E}[x_i]=\mu \implies \mathbb{E}[\bar{x}]=\mu$

如果这些变量也具有共同的有限方差，和它们是不相关的，则估计将也是无偏，即注意，这些估计量的无偏仅取决于上述假设（以及期望的线性；证明只是代数）。结果并不能依赖于任何特定的分布，如高斯。变量也没有必须有一个共同的分布，他们甚至不必是 $s^2=\frac{1}{n-1}\sum_i(x_i-\bar{x})^2$

Ë [X_{一世} X_{Ĵ}] - μ^{2} = {\begin{cases} σ^{2} & 一世 = Ĵ \\ 0 & 一世 \neq Ĵ \end{cases} ⟹ Ë [s^{2}] = σ^{2}

$\mathbb{E}[x_ix_j]-\mu^2=\begin{cases}\sigma^2&i=j\\0&i\neq{j}\end{cases} \implies \mathbb{E}[s^2]=\sigma^2$

x_{i}

$x_i$ 独立的（即样本不必是iid）。

“样本标准偏差”是不是一个无偏估计，，但尽管如此它是常用的。我的猜测是，这仅仅是因为它是无偏样本方差的平方根。（没有更复杂的理由。） $s$ $\mathbb{s}\neq\sigma$

在iid高斯样本的情况下，参数的最大似然估计（MLE）为和，即方差除以而不是。此外，在艾德高斯情况下，标准偏差MLE只是MLE方差的平方根。但是，这些公式以及您的问题中暗示的公式都取决于高斯iid假设。 $\hat{\mu}_\mathrm{MLE}=\bar{x}$ $(\hat{\sigma}^2)_\mathrm{MLE}=\frac{n-1}{n}s^2$ $n$ $n^2$

更新：关于“有偏”与“无偏”的更多说明。

考虑一个 -元素样品如上述，，与总和平方偏差给定假设概述在上面的第一部分中，我们必定有因此（Gaussian-）MLE估计量有偏差而“样本方差”估计量是无偏的 $n$ $X=\{x_1,\ldots,x_n\}$

δ_{ñ}^{2} = \sum_{一世} （ X_{一世} - \bar{X} ）^{2}

$\delta^2_n=\sum_i(x_i-\bar{x})^2$

Ë [δ_{ñ}^{2}] = （ ñ - 1个 ） σ^{2}

$\mathbb{E}[\delta^2_n]=(n-1)\sigma^2$

\hat{σ_{ñ}^{2}} = \frac{1个}{ñ} δ_{ñ}^{2} ⟹ Ë [\hat{σ_{ñ}^{2}}] = \frac{ñ - 1个}{ñ} σ^{2}

$\widehat{\sigma^2_n}=\tfrac{1}{n}\delta^2_n \implies \mathbb{E}[\widehat{\sigma^2_n}]=\tfrac{n-1}{n}\sigma^2$

s_{ñ}^{2} = \frac{1个}{ñ - 1个} δ_{ñ}^{2} ⟹ Ë [s_{ñ}^{2}] = σ^{2}

$s^2_n=\tfrac{1}{n-1}\delta^2_n \implies \mathbb{E}[s^2_n]=\sigma^2$

现在这是事实，变得较少施力随着样品尺寸增加。但是，无论样本大小如何（只要），偏差都为零。对于这两个估计量，其采样分布的方差将为非零值，并取决于。 $\widehat{\sigma^2_n}$ $n$ $s^2_n$ $n>1$ $n$

例如，下面的Matlab代码考虑了来自标准正态总体样本的实验。为了估计的采样分布，重复实验次。（您可以在此处剪切并粘贴代码以尝试一下。） $n=2$ $z$ $\bar{x},\widehat{\sigma^2},s^2$ $N=10^6$

% n=sample size, N=number of samples
n=2; N=1e6;
% generate standard-normal random #'s
z=randn(n,N); % i.e. mu=0, sigma=1
% compute sample stats (Gaussian MLE)
zbar=sum(z)/n; zvar_mle=sum((z-zbar).^2)/n;
% compute ensemble stats (sampling-pdf means)
zbar_avg=sum(zbar)/N, zvar_mle_avg=sum(zvar_mle)/N
% compute unbiased variance
zvar_avg=zvar_mle_avg*n/(n-1)

典型的输出像

zbar_avg     =  1.4442e-04
zvar_mle_avg =  0.49988
zvar_avg     =  0.99977

确认

\begin{aligned} Ë [\bar{ž}] & \approx \bar{（ \bar{ž} ）} \approx μ = 0 \\ Ë [s^{2}] & \approx \bar{（ s^{2} ）} \approx σ^{2} = 1个 \\ Ë [\hat{σ^{2}}] & \approx \bar{（ \hat{σ^{2}} ）} \approx \frac{ñ - 1个}{ñ} σ^{2} = \frac{1个}{2} \end{aligned}

$\begin{align} \mathbb{E}[\bar{z}]&\approx\overline{(\bar{z})}\approx\mu=0 \\ \mathbb{E}[s^2]&\approx\overline{(s^2)}\approx\sigma^2=1 \\ \mathbb{E}[\widehat{\sigma^2}]&\approx\overline{(\widehat{\sigma^2})}\approx\frac{n-1}{n}\sigma^2=\frac{1}{2} \end{align}$

更新2：注意基本的无偏性的“代数”性质。

在上面的数字演示中，代码使用具有实验重复的整体平均值（即，每个样本都是的样本）来逼近真实期望。即使有这么多的数据，上面引用的典型结果仍远远不够准确。 $\mathbb{E}[\,]$ $N=10^6$ $n=2$

为了以数字方式证明估计量确实是无偏的，我们可以使用一个简单的技巧来近似情况：只需下行添加到代码中 $N\to\infty$

% optional: "whiten" data (ensure exact ensemble stats)
[U,S,V]=svd(z-mean(z,2),'econ'); z=sqrt(N)*U*V';

（在“生成标准-正常随机数”之后和“计算样本统计信息”之前放置）

通过这个简单的更改，即使运行的代码也会得到如下结果： $N=10$

zbar_avg     =  1.1102e-17
zvar_mle_avg =  0.50000
zvar_avg     =  1.00000

— GeoMatt22
source

3

@amoeba好吧，我去吃饭。我对每行中的SD值取平方，然后取它们的平均值，然后它们就变得无偏（0.9994），而SD值本身没有。表示您和GeoMatt22是正确的，我错了。

— 卡尔

2

@Carl：通常来说，对参数的无偏估计量进行转换不会产生对转换后的参数的无偏估计，除非是根据期望的线性关系进行仿射，除非变换是仿射的。那么，公正对您来说有多重要？

— Scortchi-恢复莫妮卡

4

卡尔：如果您认为我的回答与您的问题正交，我深表歉意。旨在为以下问题提供一个合理的解释：“为什么通常使用偏差标准偏差公式？” 答：“仅仅因为相关的方差估计量是无偏的，而不是任何实际的数学/统计理由”。至于您的评论，通常“无偏”描述的估计量与样本大小无关地正确。如果仅在无限样本大小的范围内没有偏见，通常将其称为“ 一致 ”。

— GeoMatt22 2016年

3

（+1）个好答案。小警告：维基百科在此答案中引用的关于一致性的段落有点混乱，与此相关的括号内的陈述可能会引起误解。在某种意义上，“一致性”和“渐近无偏”是估计量的正交属性。有关这一点的更多信息，请参见此答案的注释主题。

— 主教

3

+1但是我觉得@Scortchi使得未在你提到的他的回答一个非常重要的一点：即，即使是高斯人口的无偏估计具有较高的预期误差比标准偏估计（因到前者的高差异）。这是一个强有力的论点，主张即使不知道基本分布是高斯分布，也不要使用无偏估计量。

σ

$\sigma$

σ

$\sigma$

— 变形虫说恢复莫妮卡

15

样本标准偏差是完整的，并且对于足够，因此的无偏估计量集合由 $S=\sqrt{\frac{\sum (X - \bar{X})^2}{n-1}}$ $\sigma$ $\sigma^k$

\frac{（ ñ - 1个 ）^{\frac{ķ}{2}}}{2^{\frac{ķ}{2}}} \cdot \frac{Γ （ \frac{ñ - 1个}{2} ）}{Γ （ \frac{ñ + ķ - 1个}{2} ）} \cdot {小号}^{ķ} = \frac{{小号}^{ķ}}{C_{ķ}}

$\frac{(n-1)^\frac{k}{2}}{2^\frac{k}{2}} \cdot \frac{\Gamma\left(\frac{n-1}{2}\right)}{\Gamma\left(\frac{n+k-1}{2}\right)} \cdot S^k = \frac{S^k}{c_k}$

（见为什么是样本标准偏差的偏估计？ $\sigma$ ）是，由莱曼-薛费定理，UMVUE。一致但有偏差的估计也可以形成为 $\sigma^k$

{\overset{〜}{σ}}_{Ĵ}^{ķ} = {（ \frac{{小号}^{Ĵ}}{C_{Ĵ}} ）}^{\frac{ķ}{Ĵ}}

$\tilde{\sigma}^k_j= \left(\frac{S^j}{c_j}\right)^\frac{k}{j}$

（当时指定无偏估计量）。每个的偏差由下式给出 $j=k$

Ë {\overset{〜}{σ}}_{Ĵ}^{ķ} - σ^{ķ} = （ \frac{C_{ķ}}{C_{Ĵ}^{\frac{ķ}{Ĵ}}} - 1个 ） σ^{ķ}

$\operatorname{E}\tilde{\sigma}^k_j - \sigma^k =\left( \frac{c_k}{c_j^\frac{k}{j}} -1 \right) \sigma^k$

及其方差

Var {\overset{〜}{σ}}_{Ĵ}^{ķ} = Ë {\overset{〜}{σ}}_{Ĵ}^{2 ķ} - {（ Ë {\overset{〜}{σ}}_{Ĵ}^{ķ} ）}^{2} = \frac{C_{2 ķ} - C_{ķ}^{2}}{C_{Ĵ}^{\frac{2 ķ}{Ĵ}}} σ^{2 ķ}

$\operatorname{Var}\tilde{\sigma}^{k}_j=\operatorname{E}\tilde{\sigma}^{2k}_j - \left(\operatorname{E}\tilde{\sigma}^k_j\right)^2=\frac{c_{2k}-c_k^2}{c_j^\frac{2k}{j}} \sigma^{2k}$

对于您已经考虑过的的两个估计量，和，与相比，被更大的方差所抵消： $\sigma$ $\tilde{\sigma}^1_1=\frac{S}{c_1}$ $\tilde{\sigma}^1_2=S$ $\tilde{\sigma}_1$ $\tilde{\sigma}_2$

\begin{aligned} Ë {\overset{〜}{σ}}_{1个} - σ & = 0 \\ Ë {\overset{〜}{σ}}_{2} - σ & = （ C_{1个} - 1个 ） σ \\ Var {\overset{〜}{σ}}_{1个} = Ë {\overset{〜}{σ}}_{1个}^{2} - {（ Ë {\overset{〜}{σ}}_{1个}^{1个} ）}^{2} & = \frac{C_{2} - C_{1个}^{2}}{C_{1个}^{2}} σ^{2} = （ \frac{1个}{C_{1个}^{2}} - 1个 ） σ^{2} \\ Var {\overset{〜}{σ}}_{2} = Ë {\overset{〜}{σ}}_{1个}^{2} - {（ Ë {\overset{〜}{σ}}_{2} ）}^{2} & = \frac{C_{2} - C_{1个}^{2}}{C_{2}} σ^{2} = （ 1个 - C_{1个}^{2} ） σ^{2} \end{aligned}

$\begin{align} \operatorname{E}\tilde{\sigma}_1 - \sigma &= 0 \\ \operatorname{E}\tilde{\sigma}_2 - \sigma &=(c_1 -1) \sigma \\ \operatorname{Var}\tilde{\sigma}_1 =\operatorname{E}\tilde{\sigma}^{2}_1 - \left(\operatorname{E}\tilde{\sigma}^1_1\right)^2 &=\frac{c_{2}-c_1^2}{c_1^2} \sigma^{2} = \left(\frac{1}{c_1^2}-1\right) \sigma^2 \\ \operatorname{Var}\tilde{\sigma}_2 =\operatorname{E}\tilde{\sigma}^{2}_1 - \left(\operatorname{E}\tilde{\sigma}_2\right)^2 &=\frac{c_{2}-c_1^2}{c_2} \sigma^{2}=(1-c_1^2)\sigma^2 \end{align}$ （请注意，，如已经是的无偏估计量。）

c_{2} = 1

$c_2=1$

S^{2}

$S^2$

σ^{2}

$\sigma^2$

的均方误差作为一个估计由下式给出 $a_k S^k$ $\sigma^2$

\begin{aligned} （ Ë {一种}_{ķ} {小号}^{ķ} - σ^{ķ} ）^{2} + Ë （ {一种}_{ķ} {小号}^{ķ} ）^{2} - （ Ë {一种}_{ķ} {小号}^{ķ} ）^{2} & = [（ {一种}_{ķ} C_{ķ} - 1个 ）^{2} + {一种}_{ķ}^{2} C_{2 ķ} - {一种}_{ķ}^{2} C_{ķ}^{2}] σ^{2 ķ} \\ = （ {一种}_{ķ}^{2} C_{2 ķ} - 2 {一种}_{ķ} C_{ķ} + 1个 ） σ^{2 ķ} \end{aligned}

$\begin{align} (\operatorname{E} a_k S^k - \sigma^k)^2 + \operatorname{E} (a_k S^k)^2 - (\operatorname{E} a_k S^k)^2 &= [ (a_k c_k -1)^2 + a_k^2 c_{2k} - a_k^2 c_k^2 ] \sigma^{2k}\\ &= ( a_k^2 c_{2k} -2 a_k c_k + 1 ) \sigma^{2k} \end{align}$

并且因此最小化

{一种}_{ķ} = \frac{C_{ķ}}{C_{2 ķ}}

$a_k = \frac{c_k}{c_{2k}}$

，从而可以定义另一组可能感兴趣的估算器：

{\hat{σ}}_{Ĵ}^{ķ} = {（ \frac{C_{Ĵ} {小号}^{Ĵ}}{C_{2 Ĵ}} ）}^{\frac{ķ}{Ĵ}}

$\hat{\sigma}^k_j= \left(\frac{c_j S^j}{c_{2j}}\right)^\frac{k}{j}$

奇怪的是，，因此将除以消除偏差的相同常数乘以以减小MSE。无论如何，这些都是的一致的最小方差位置不变和比例等价估计量（如果您用开尔文而不是摄氏度来衡量，则根本不希望您的估计值发生变化，并且希望通过如果以华氏度为单位，则为的系数）。 $\hat{\sigma}^1_1=c_1S$ $S$ $S$ $\sigma^k$ $\left(\frac{9}{5}\right)^k$

以上都不与假设检验或置信区间的构建有关（请参见例如，为什么该摘录说标准偏差的无偏估计通常不相关？）。而和既不会耗尽估计量，也不会耗尽潜在兴趣的参数范围-考虑最大似然估计量^†，或中位数无偏估计量；或对数正态分布的几何标准偏差。值得一提的是，从一个小样本（ $\tilde{\sigma}^k_j$ $\hat{\sigma}^k_j$ $\sqrt{\frac{n-1}{n}}S$ $\sqrt{\frac{n-1}{\chi^2_{n-1}(0.5)}}S$ $\mathrm{e}^\sigma$ $n=2$ ）以及上限和下限和具有覆盖范围的等尾置信区间的： $\sqrt{\frac{(n-1)s^2}{\chi^2_{n-1}(\alpha)}}$ $\sqrt{\frac{(n-1)s^2}{\chi^2_{n-1}(1-\alpha)}}$ $1-\alpha$

$$ \ sigma $的置信度分布显示估计值$

与具有适当覆盖率的任何置信区间的宽度相比，最接近的估计之间的跨度可以忽略不计。（例如，95％CI为 $(0.45s,31.9s)$ 。）对点估计器的属性保持谨慎是没有任何意义的，除非您准备对要使用的估计点非常明确-最明确的是，您可以为特定应用程序定义自定义损失函数。您可能希望使用一个准确的（或几乎）无偏估计量的原因是，您将在不希望累积偏倚的后续计算中使用它：对标准偏差的偏倚估计平均值进行平均的说明是以下示例的简单示例：这样（一个更复杂的示例可能是将它们用作线性回归中的响应）。原则上，无所不包的模型应避免将无偏估计作为中间步骤，但是要指定和拟合可能要困难得多。

† 使观测数据最可能出现的值具有吸引力，因为它的估计独立于其采样分布的考虑。 $\sigma$

— Scortchi-恢复莫妮卡
source

7

问题2：有人会向我解释为什么我们仍然使用SD，因为它明显有偏见和误导性吗？

这是在评论中提出的，但是我认为有必要重复一遍，因为这是答案的症结所在：

样本方差公式是无偏的，方差是加性的。因此，如果您希望进行任何（仿射）转换，这是一个严重的统计原因，为什么您应该在“ nice” SD估计器上坚持使用“ nice”方差估计器。

在理想的世界中，它们将是等效的。但这在宇宙中并非如此。您必须选择一个，所以您最好也选择一个可以将信息组合起来的方法。

比较两个样本均值？它们差异的方差是它们方差的总和。
用几项做线性对比？通过对其方差进行线性组合来获取方差。
在看回归线拟合吗？使用估算的beta系数的方差-协方差矩阵获取其方差。
使用F检验，t检验或基于t的置信区间？F检验直接要求方差；而t检验恰好等于F检验的平方根。

在上述每种常见情况中，如果您以无偏方差开始，那么您将始终保持无偏（除非最后一步转换为SD以进行报告）。
同时，如果您从无偏差的SD开始，无论如何，您的中间步骤和最终结果都不会无偏差。

— 民事诉讼
source

方差不是距离测量，标准差是。是的，矢量距离乘以平方，但是主要的度量是距离。问题是您将校正后的距离用于什么，而不是为什么我们应该忽略该距离，就好像它不存在一样。

— 卡尔

好吧，我想我是在争论“主要的测量是距离”不一定是正确的。1）您是否有一种方法可以处理无偏方差；结合起来；得出最终的最终方差；并重新缩放其sqrt以获取无偏SD？太好了，那就这样做。如果不是... 2）您将如何处理一个小样本的SD？自行举报？最好直接绘制数据点，而不要汇总其分布。除了作为SE和CI的输入之外，人们还会如何解释它？作为CI的输入是有意义的，但随后我更喜欢基于t的CI（具有常规SD）。

— civilstat

我认为许多临床研究或商业软件程序都不会使用根据小样本校正后的标准偏差计算出的平均值的标准误差，从而导致对这些误差有多小的错误印象。我认为，即使只有一个问题，也应该忽略。

n < 25

$n<25$

— 卡尔，2016年

“因此，您最好选择一种可以让您将信息结合起来的方法”，而“主要度量是距离”不一定是正确的。农夫乔的房子在路上640英亩？一个人针对每种情况正确使用适当的度量，或者一个人对错误证人的容忍度比我高。我在这里唯一的问题是何时使用什么，而答案不是“从不”。

— 卡尔

1

这篇文章是大纲形式。

（1）求平方根不是仿射变换（Credit @Scortchi。）

（2），因此 ${\rm var}(s) = {\rm E} (s^2) - {\rm E}(s)^2$ ${\rm E}(s) = \sqrt{{\rm E}(s^2) -{\rm var}(s)}\neq{\sqrt{\rm var(s)}}$

（3），而 ${\rm var}(s)=\frac{\Sigma_{i=1}^{n}(x_i-\bar{x})^2}{n-1}$ $\text{E}(s)\,=\,\,\frac{\Gamma\left(\frac{n-1}{2}\right)}{\Gamma\left(\frac{n}{2}\right)}\sqrt{\frac{\Sigma_{i=1}^{n}(x_i-\bar{x})^2}{2}}$ $\neq\sqrt{\frac{\Sigma_{i=1}^{n}(x_i-\bar{x})^2}{n-1}}={\sqrt{\rm var(s)}}$

（4）因此，由于小，我们不能用代替，因为平方根不是仿射的。 ${\sqrt{\rm var(s)}}$ $\text{E}(s)$ $n$

（5）和没有偏向（分别为@ GeoMatt22和@Macro）。 ${\rm var}(s)$ $\text{E}(s)$

（6）对于非正态分布有时（a）中未定义的（例如，柯西，帕累托小）和（b）不UMVUE（例如，柯西（ Student's-与），帕累托，制服，测试版）。甚至更常见的是，方差可能是不确定的，例如带有 Student-。然后，可以指出对于一般情况分布而言不是UMVUE。因此，对于标准偏差引入近似的小数校正没有特殊的负担，这可能与具有类似的局限性，但偏差较小， $\bar{x}$ $\alpha$ $\rightarrow$ $t$ $df=1$ $t$ $1\leq df\leq2$ $\text{var}(s)$ $\sqrt{\text{var}(s)}$ $\hat\sigma = \sqrt{ \frac{1}{n - 1.5 - \tfrac14 \gamma_2} \sum_{i=1}^n (x_i - \bar{x})^2 }$ ，

其中是过量峰度。同样，在检查正态平方分布（带有变换的卡方）时，我们可能会想求其平方根并使用所得的正态分布特性。就是说，通常，正态分布可以由其他分布的变换产生，并且检查该正态分布的属性可能会比较方便，以使小数校正对正态的限制不那么严格。首先假设。 $\gamma_2$ $df=1$

对于正态分布情况：

解答1：根据Lehmann-Scheffe定理，和是UMVUE（Credit @Scortchi）。 ${\rm var}(s)$ $\text{E}(s)$

A2 ：（针对以下注释进行了编辑以进行调整。）对于，我们应使用来表示标准差，标准误差，均值和分布的置信区间，并可选地使用z-统计。对于检验，我们不会使用无偏估计量，因为本身是Student，其度为自由（信用@whuber和@ GeoMatt22）。对于z统计量，通常使用大来近似，而很小，而 $n\leq 25$ $\text{E}(s)$ $t$ $\frac{ \bar X - \mu} {\sqrt{\text{var}(n)/n}}$ $t$ $n-1$ $\sigma$ $n$ $\text{E}(s)-\sqrt{\text{var}(n)}$ $\text{E}(s)$ 似乎在数学上更合适（信贷@whuber和@ GeoMatt22）。

— 卡尔
source

2

A2是不正确的：遵循该处方将产生明显无效的测试。正如我对这个问题的评论那样，也许太巧妙了：请参考经典测试（例如t检验）的任何理论说明，以了解为什么偏倚校正是不相关的。

— ub

2

有一个强有力的元参数可以说明为什么统计检验的偏倚校正是一个红鲱鱼：如果不包括偏倚校正因子是不正确的，那么该因子将已经包含在 Student t分布，F分布，换句话说。如果我错了，那么上个世纪的统计测试每个人都会错。

— ub

1

我是唯一一个对此处的表达感到困惑的人吗？为什么使用代表，标准偏差的无偏估计？什么是？

E (s)

$\operatorname{E}(s)$

\frac{Γ (\frac{n - 1}{2})}{Γ (\frac{n}{2})} \sqrt{\frac{Σ_{i = 1}^{n} (x_{i} - \bar{x})^{2}}{2}}

$\frac{\Gamma\left(\frac{n-1}{2}\right)}{\Gamma\left(\frac{n}{2}\right)}\sqrt{\frac{\Sigma_{i=1}^{n}(x_i-\bar{x})^2}{2}}$

s

$s$

— Scortchi-恢复莫妮卡

2

@Scortchi这个符号显然是试图继承链接文章中使用的符号。有是样本方差，和是的预期值对于高斯样品。在此问题中，“ ”被选为原始帖子的新估计量（即，其中）。如果我们对这个问题给出了满意的答案，则可能需要对问题和答案符号进行清理：)

s

$s$

E (s)

$E(s)$

s

$s$

E (s)

$E(s)$

\hat{σ} \equiv s / α

$\hat{\sigma}\equiv s/\alpha$

α \equiv E [s] / σ

$\alpha\equiv\mathbb{E}[s]/\sigma$

— GeoMatt22 2016年

2

z检验假定分母是的准确估计。已知这只是一个渐近正确的近似值。如果要校正它，请不要使用SD估算器的偏差，而应使用t检验。这就是发明t检验的目的。

σ

$\sigma$

— ub

0

我想在此讨论中添加贝叶斯答案。仅仅因为您的假设是数据是根据一些均值和方差未知的正态生成的，并不意味着您应该使用均值和方差来汇总数据。如果您绘制模型，则可以避免整个问题，该模型具有后验预测，即三参数非中心缩放学生的T分布。这三个参数是样本总数，平方样本总数和样本数量。（或这些的任何双射图。）

顺便说一句，我喜欢Civilstat的回答，因为它突出了我们结合信息的愿望。上面的三个足够的统计数据甚至比问题中给出的两个统计数据更好（或根据Civilstat的回答）。可以轻松地将两组这些统计数据进行组合，并且在假设正态性的前提下，它们可以提供最佳的后验预测。

— 尼尔·G
source

然后，如何从这三个足够的统计量计算平均值的无偏标准误差？

— 卡尔

@carl因为样本数为，所以您可以轻松计算它，可以将未校正的样本方差乘以。但是，您确实不想这样做。这等于将您的三个参数转换为对有限数据的最佳正态分布。使用三个参数来拟合真实的后验预测要好得多：非中心缩放T分布。通过T分布可以更好地回答您可能遇到的所有问题（百分位数等）。实际上，T检验只是关于这种分布的常识性问题。

n

$n$

\frac{n}{n - 1}

$\frac{n}{n-1}$

— Neil G

那么，如何才能从Monte Carlo模拟中生成真实的正态分布RV并仅使用Student's-分布参数来恢复该真实分布呢？我在这里想念什么吗？

t

$t$

— 卡尔

@卡尔我所描述的足够的统计数据是平均值，第二矩和样本数。您原始法线的MLE是均值和方差（等于第二矩减去均值的平方）。当您要对将来的观测进行预测（需要后验预测分布）时，样本数量非常有用。

— Neil G

尽管贝叶斯的观点是一个受欢迎的补充，但我发现这很难遵循：我期望讨论从的后验密度构造点估计的讨论。似乎您是在质疑是否需要点估计：这很值得提出，但并不是唯一的贝叶斯方法。（顺便说一句，您还需要解释先验。）

σ

$\sigma$

— Scortchi-恢复莫妮卡