如何向外行人解释什么是无偏估计？

10

假设是一个无偏估计。然后，当然是。 $\hat{\theta}$ $\theta$ $\mathbb{E}[\hat{\theta} \mid \theta] = \theta$

一个人如何向外行人解释呢？过去，我所说的是，如果对一堆求平均值，则随着样本数量的增加，您会更好地逼近。 $\hat{\theta}$ $\theta$

对我来说，这是有问题的。我认为我在这里实际描述的是这种渐近无偏的现象，而不是单纯地无偏的现象，即其中可能取决于。

lim_{n \to \infty} E [\hat{θ} ∣ θ] = θ,

$\lim_{n \to \infty}\mathbb{E}[\hat{\theta} \mid \theta] = \theta\text{,}$

\hat{θ}

$\hat{\theta}$

n

$n$

那么，如何向外行人解释什么是无偏估计呢？

— 单簧管
source

2

这是一种估计正确的方法：通常并不完全正确，但总的来说，产生高估的次数要比低估的次数多。我意识到这听起来更像是的中值而不是均值，但是我认为它抓住了要点。

θ

$\theta$

\hat{θ}

$\hat \theta$

— jwimberley

3

我喜欢这个“三位统计学家在打猎”的笑话（这里是一个版本）...

— Ben Bolker

2

您的解释是“大数定律”，它与公正无关系。

— 西安

@西安：如果估计量有偏差，则限制不会是。

θ

$\theta$

— user2357112在2013年

@ user2357112：据我了解（和到目前为止的答案所示），随着样本数量的增加，意味着随着增长到无穷大，考虑，即基于观察值的估计量。我现在看到该句子可以被不同地解释。

{\hat{θ}}_{n}

$\hat\theta_n$

n

$n$

n

$n$

— 西安

14

从技术上讲，当您说随着样本数量的增加，估算器越来越接近真实值时，您所描述的是（或者说其他）统计估算器的一致性或收敛性。这种收敛可以是概率收敛，即对于每个，或几乎确定收敛，表示。注意限制实际上是如何在内部 $\lim_{n \to \infty} P(|\hat{\theta}_n - \theta| > \epsilon) = 0$ $\epsilon > 0$ $P(\lim_{n \to \infty} |\hat{\theta}_n - \theta| > \epsilon) = 0$ 在第二种情况下的概率。事实证明，后一种形式的收敛要强于另一种形式，但是两者本质上是同一件事，那就是随着收集更多样本，估计趋向于越来越接近我们所估计的事物。

这里的一个微妙的一点是，即使无论是在概率或几乎可以肯定，它不是一般的事实，，因此一致性并不表示您所建议的渐近无偏。在随机变量序列（是函数）和期望序列（是整数）之间移动时，必须小心。 $\hat{\theta}_n \to \theta$ $\lim_{n \to \infty} \text{E}(\hat{\theta}_n) = \theta$

除了所有技术资料外，无偏仅表示。因此，当您向某人解释时，只需说，如果在相同条件下重复进行多次实验，则估算的平均值将接近真实值。 $\text{E}(\hat{\theta}_n) = \theta$

— 达克斯顿
source

5

您对外行人的看法非常令人钦佩。他知道什么是“概率收敛”，“收敛”，极限……这是来自未来的人。

— 阿克萨卡尔邦

2

我认为外行人不了解这些事情，我正在尝试纠正原始帖子中的一些误解。在最后一段中，我对如何向外行人解释事情提出了建议。

— dsaxton

最后一段虽然将偏差概念与估计量的一致性纠缠在一起，但这很可能是OP的困惑之一。

— 阿克萨卡尔邦

3

为何如此？在相同条件下重复实验意味着样本量是固定的，因此我们显然不是在谈论一致性。

— dsaxton

1

好的，您对此是正确的，但是那意味着您要引入概率的常客观点

— Aksakal

9

我不确定您是否会混淆一致性和公正性。

一致性：样本数量越大，估计量的方差越小。

取决于样本量

无偏性：估计量的期望值等于参数的真实值

不取决于样本量

所以你的句子

如果平均一堆值的，样本容量越大，你会得到更好的近似值。 $\hat\theta$ $\theta$

是不正确的。即使样本量变得无限大，无偏估计也会保持无偏估计，例如，如果您将均值估计为“平均+1”，则可以向样本中添加十亿个观测值，而估计仍不会为您提供真实价值。

在这里，您可以找到有关一致性和无偏见之间差异的更深刻的讨论。

一致估计和无偏估计之间有什么区别？

— 费迪
source

2

我实际上对一致性一无所知，但是仍然谢谢您。

— 单簧管演奏者

1

@Clarinetist 一致性可能是估计量的最重要属性，如果有足够的数据，您会随意接近正确的答案。

— 马修·冈恩

7

@Ferdi已经为您的问题提供了明确的答案，但是让我们更正式一点。

令 $X_1,\dots,X_n$ 是来自分布 $F$ 的独立且均匀分布的随机变量的样本。您可能对估计未知但固定的量 $\theta$ 感兴趣，使用的估计器 $g$ 是 $X_1,\dots,X_n$ 。由于 $g$ 是随机变量的函数，因此估计

{\hat{θ}}_{n} = g (X_{1}, \dots, X_{n})

$\hat\theta_n = g(X_1,\dots,X_n)$

也是一个随机变量。我们将偏见定义为

b i a s ({\hat{θ}}_{n}) = E_{θ} ({\hat{θ}}_{n}) - θ

$\mathrm{bias}(\hat\theta_n) = \mathbb{E}_\theta(\hat\theta_n) - \theta$

估计量无偏时 $\mathbb{E}_\theta(\hat\theta_n) = \theta$ 。

用简单的英语说出来：我们正在处理随机变量，所以除非它是退化的，否则如果我们采用不同的样本，我们可以期望观察到不同的数据以及不同的估计。然而，我们可以预期的是“平均”估计在不同样本将是“正确的”，如果估计量无偏。因此，这并不总是正确的，但“平均而言”它将是正确的。由于与数据相关的随机性，它根本不可能总是“正确”的。 $\hat\theta_n$

正如其他人已经指出的那样，随着样本的增长，您的估计越来越“接近”估计的数量，即概率收敛

{\hat{θ}}_{n} \overset{P}{\to} θ

$\hat\theta_n \overset{P}{\to} \theta$

与估计量的一致性有关，而不是无偏见。仅凭公正性就无法告诉我们有关样本量及其与获得的估计值的关系的任何信息。此外，无偏估计量并非始终可用，也不总是优于有偏估计量。例如，在考虑了偏差-方差折衷之后，您可能愿意考虑使用偏差更大但方差较小的估算器-因此“平均”距离真实值会更远，但估算值（方差较小）会更多接近真实值，则在无偏估计的情况下。

— 蒂姆
source

（+1）：提出一个事实，那就是几乎没有可用的无偏估计量是非常好的一点。并提到偏差/方差对立。

— 西安

2

首先，您必须将误解性偏见与统计性偏见区分开来，尤其是对于外行人而言。

使用中位数，均值或众数作为人口平均数的估计值的选择通常包含政治，宗教或科学理论的信念偏见。关于哪种估计量是平均值的最佳形式的计算与影响统计偏差的算法的类型不同。

克服方法选择偏差后，即可解决估算方法中的潜在偏差。首先，您必须选择一种可能存在偏差的方法，以及一种容易导致偏差的机制。

使用除以征服点的观点可能会更容易，在这种观点下，随着样本数量的变小，估计值显然会产生偏差。例如，当n从3下降到2到1时，样本扩展估计量中的n-1因子（vs'n'因子）变得很明显！

这完全取决于人的“外行”程度。

— 菲利普·奥克利
source

恐怕您可能正在谈论与问题中不同的偏见。您能尝试更具体地说明什么是偏见吗？您写的是“估计方法中的潜在偏差”，这似乎与偏差的定义不符（在上述问答中给出）。最后，这使您的答案令人困惑……

— 蒂姆

@Tim，第一步只是确保掩盖了人类的偏见。第二步是（并部分遵循步骤1的问题），以确保尚未选择非专业人员X的教学方法（无偏见的方法）。例如，标准偏差为1 / n * sum（（x-mean）^ 2），但是（仔细地）不能区分总体和样本。大多数“外行人”都被教给了一个没有思想的1 /（N-1）版本的样本。如果您只有一种方法，您（外行人）别无选择，那么估计偏差就不会成为问题……这是克鲁格-邓宁步骤。

— 菲利普·奥克利