一致估计和无偏估计之间有什么区别？

125

我真的很惊讶，似乎没有人问过这个问题...

在讨论估计量时，经常使用的两个术语是“一致”和“无偏”。我的问题很简单：有什么区别？

这些术语的精确技术定义相当复杂，很难直观理解它们的含义。我可以想象一个好的估计量，一个坏的估计量，但是我很难看到任何一个估计量如何满足一个条件而不能满足另一个条件。

unbiased-estimator estimators consistency

— 数学兰花
source

您是否看过Wikipedia文章中有关一致估计量的第一个数字，它专门解释了这种区别？

— ub

我读过文章既一致又有偏见，但我仍然不太了解两者之间的区别。（您所参考的数字声称估计量是一致的，但有偏见，但没有解释原因。）

— MathematicalOrchid

您需要解释的哪一部分帮助？标题指出序列中的每个估计量都是有偏差的，并且还说明了为什么序列一致。您是否需要说明这些估计量中的偏差如何从图中看出来？

— ub

+1这些答案之一后的评论线索很有启发性，既可以揭示主题内容，也可以作为有趣的示例，说明在线社区如何工作以揭露和纠正误解。

— Whuber

相关阅读： stats.stackexchange.com/questions/173152/...

— 的Kjetil b Halvorsen的

Answers:

126

在不使用太多技术语言的情况下定义两个术语：

如果随着样本量的增加，估计量（由估计量产生）“收敛”到要估计的参数的真实值，则估计量是一致的。更精确一点-一致性意味着，随着样本数量的增加，估计量的样本分布越来越集中在真实参数值上。
如果估算器平均达到真实参数值，则它是无偏的。即，估计器的采样分布的平均值等于真实参数值。
两者不相等：无偏性是关于估计量抽样分布的期望值的陈述。一致性是关于随着样本数量的增加“估计器的抽样分布走向何处”的陈述。

当然可以满足一个条件，但不能满足另一个条件-我举两个例子。对于这两个示例，请考虑来自总体的样本。 $X_1, ..., X_n$ $N(\mu, \sigma^2)$

无偏见但不一致：假设您正在估计。然后是一个无偏估计因为。但是，是不一致的，因为随着样本大小的增加，的分布不会越来越集中在周围-它始终为！ $\mu$ $X_1$ $\mu$ $E(X_1) = \mu$ $X_1$ $\mu$ $N(\mu, \sigma^2)$
一致但并非一成不变：假设您要估算。最大似然估计量为其中是样本均值。这是一个事实，即 herefore，可以使用该信息来导出这里。因此，对于任何有限的样本大小都是有偏差的。我们还可以轻松得出从这些事实我们可以非正式地看到的分布 $\sigma^2$
${\hat{σ}}^{2} = \frac{1}{n} \sum_{i = 1}^{n} (X_{i} - \bar{X})^{2}$ $\hat{\sigma}^2 = \frac{1}{n} \sum_{i=1}^{n} (X_i - \overline{X})^2$ $\overline{X}$ $E ({\hat{σ}}^{2}) = \frac{n - 1}{n} σ^{2}$ $E(\hat{\sigma}^2) = \frac{n-1}{n} \sigma^2$ $\hat{\sigma}^2$ $\hat{\sigma}^2$ $v a r ({\hat{σ}}^{2}) = \frac{2 σ^{4} (n - 1)}{n^{2}}$ ${\rm var}(\hat{\sigma}^2) = \frac{ 2\sigma^4(n-1)}{n^2}$ $\hat{\sigma}^2$ 由于均值收敛于且方差收敛于，因此随着样本数量的增加，“样本” 正越来越集中于。（注意：这确实构成了一致性的证明，使用的答案与此处答案中使用的参数相同） $\sigma^2$ $\sigma^2$ $0$

— 巨集
source

（+1）并不是所有的MLE都是一致的：总体结果是MLE序列中存在一致的子序列。为了保持适当的一致性，还需要一些其他要求，例如可识别性。在某些变量误差模型中发现了不一致的MLE实例（其中“最大值”被证明是一个鞍点）。

— MånsT

好吧，我提到的EIV MLE可能不是很好的例子，因为似然函数是无界的，并且不存在最大值。它们是ML方法如何失败的好例子：)很抱歉，我现在无法提供相关链接-我正在休假。

— MånsT

谢谢@MånsT。链接中概述了必要条件，但措辞尚不清楚。

— 2012年

只是附带说明：在这种情况下，与该链接的条件相比，参数空间肯定不是紧凑的，对数似然凹面本身也不是紧凑的。当然，规定的一致性结果仍然成立。

σ^{2}

$\sigma^2$

— 红衣主教

您是对的，@ cardinal，我将删除该引用。显然，和但我不想偏离通过将其变成证明的一致性的练习来指出。

E ({\hat{σ}}^{2}) \to σ^{2}

$E(\hat{\sigma}^2) \rightarrow \sigma^2$

v a r ({\hat{σ}}^{2}) \to 0

${\rm var}(\hat{\sigma}^2) \rightarrow 0$

{\hat{σ}}^{2}

$\hat{\sigma}^2$

— 2012年

估计量的一致性意味着，随着样本量的增加，估计量越来越接近参数的真实值。无偏度是有限的样本属性，不受样本大小增加的影响。如果估计的期望值等于真实参数值，则该估计是无偏的。这对于所有样本大小都是正确的，并且是精确的，而一致性是渐近的，并且仅近似相等且不精确。

说一个估计量是无偏的，这意味着如果您抽取了许多大小的样本并每次都计算出估计值，那么所有这些估计值的平均值将接近真实参数值，并且随着次数的增加而越来越接近。样本均值是一致且无偏的。标准偏差的样本估计值有偏差但一致。 $n$

在评论中使用@cardinal和@Macro进行更新之后，请进行以下更新：如下所述，显然存在病理情况，方差不必变为0即可使估计量具有强烈的一致性，并且甚至不必偏差要么0。

— 迈克尔·切尼克
source

@MichaelChernick +1为您的答案，但是，对于您的评论，一致估计量的方差不一定等于。例如，如果是，的样本，则是（的）一致估计，但是，对于所有。

0

$0$

(X_{1}, . . ., X_{n})

$(X_1,...,X_n)$

Normal (μ, 1)

$\mbox{Normal}(\mu,1)$

μ \neq 0

$\mu\neq 0$

1 / \bar{X}

$1/{\bar X}$

1 / μ

$1/\mu$

var (1 / \bar{X}) = \infty

$\mbox{var}(1/{\bar X})=\infty$

n

$n$

@Procrastinator：（+2）偏差也不必缩小为零，即使每个存在均值

n

$n$

— 基数

迈克尔，您的回答很不错。我认为混淆是由您的第一条评论引起的，第一条评论有两个陈述是显而易见的错误和潜在的混淆点。（事实上，许多学生步行从入门毕业生统计类正是这些误解离开由于收敛的不同模式及其含义之间的描绘差你最后的评论可能会被视为是一点点在恶劣的一面。）

— 红衣主教

不幸的是，您的第一条评论的前两个句子和整个第二条评论都是错误的。但是，我担心进一步尝试说服您这些事实并没有取得成功。

— 主教

这是一个荒唐但简单的例子。这样做是为了说明什么可以去错了，这是为什么。它确实有实际应用。示例：考虑具有有限第二矩的典型iid模型。令其中独立于且概率分别为，否则为零，任意。然后是无偏的，具有方差为界下面通过，和

{\hat{θ}}_{n} = {\bar{X}}_{n} + Z_{n}

$\hat\theta_n = \bar X_n + Z_n$

Z_{n}

$Z_n$

{\bar{X}}_{n}

$\bar X_n$

Z_{n} = \pm a n

$Z_n = \pm a n$

1 / n^{2}

$1/n^2$

a > 0

$a > 0$

{\hat{θ}}_{n}

$\hat\theta_n$

a^{2}

$a^2$

{\hat{θ}}_{n} \to μ

$\hat\theta_n \to \mu$ 几乎可以肯定（非常一致）。我将有关偏见的情况作为练习。

— 红衣主教

-5

一致性：在[样本数量增加时，估计值（由估计器产生）“收敛”到要估计的参数的真实值）之前已经进行了很好的解释

无偏性：它满足1-5个MLR假设，即高斯-马尔可夫定理

线性度
随机抽样
零条件平均误差期望
没有完美的共线性
同方性

然后将估算器称为BLUE（最佳线性无偏估算器

— 尼古拉娜·朗古拉（Nikolina Langura）
source