为什么我们需要一个估计量来保持一致？

15

我认为，我已经理解了一致估计量的数学定义。如果我错了纠正我：

$W_n$ 如果则是的一致估计量 $\theta$ $\forall \epsilon>0$

lim_{n \to \infty} P (| W_{n} - θ | > ϵ) = 0, \forall θ \in Θ

$\lim_{n\to\infty} P(|W_n - \theta|> \epsilon) = 0, \quad \forall\theta \in \Theta$

其中，是参数空间。但我想了解估计量必须保持一致的必要性。为什么一个不一致的估计是不好的？你能给我一些例子吗？ $\Theta$

我接受R或python中的模拟。

estimation consistency

— 家族
source

3

不一致的估算器并不总是坏的。例如，一个不一致但无偏的估计量。请参阅Wikipedia关于“一致性估算器”的文章en.wikipedia.org/wiki/Consistent_estimator，尤其是“偏差与一致性”部分

— -compbiostats

一致性大致上是估计量的最佳渐近行为。从长远来看，我们选择一个估算器，该估算器接近的真实值。由于这只是概率的收敛，因此该线程可能会有所帮助：stats.stackexchange.com/questions/134701/…。

θ

$\theta$

— StubbornAtom

@StubbornAtom，我会小心地称这样一个一致的估计量为“最优”，因为该术语通常保留给在某种意义上有效的估计量。

— Christoph Hanck

22

如果估算器不一致，则它不会收敛到概率的真实值。换句话说，无论您有多少个数据点，估计数和真实值始终存在差异的可能性。这实际上是很糟糕的，因为即使您收集了大量数据，您的估算值也始终具有与真实值相差的正概率。实际上，您可以考虑这种情况，就好像您使用的是数量估算器一样，即使对所有人口进行调查（而不是对其进行抽样）也不会帮助您。 $\epsilon>0$

— 枪手
source

21

考虑 $n = 10\,000$ 来自标准柯西分布的观测值，与具有1个自由度的Student t分布相同。这种分布的尾巴足够重，没有任何平均值。分布以其中位数为中心 $\eta = 0.$

样本均值序列 $A_j = \frac 1j \sum_{i=1}^j X_i$ 对于柯西分布的中心不一致。粗略地说，困难在于非常极端的观测值 $X_i$ （正值或负值）以足够的规律性发生，因此 $A_j$ 不可能收敛到 $\eta = 0.$ （ $A_j$ 不仅收敛慢，而且不收敛）吨过会聚。的分布 $A_j$ 再次是标准柯西[证明]）。

相反，在连续采样过程中的任何一步，大约一半的观测值 $X_i$ 将位于 $\eta,$ 任一侧因此样本中位数的序列 $H_j$ 确实收敛于 $\eta.$

下面的仿真说明了 $A_j$ 和 $H_j$ 的收敛性不足。

set.seed(2019)  # for reproducibility
n = 10000;  x = rt(n, 1);  j = 1:n
a = cumsum(x)/j
h = numeric(n)
for (i in 1:n) {
  h[i] = median(x[1:i])  } 
par(mfrow=c(1,2))
 plot(j,a, type="l", ylim=c(-5,5), lwd=2,
    main="Trace of Sample Mean")
  abline(h=0, col="green2")
  k = j[abs(x)>1000] 
  abline(v=k, col="red", lty="dotted")
 plot(j,h, type="l", ylim=c(-5,5), lwd=2,
     main="Trace of Sample Median")
  abline(h=0, col="green2") 
par(mfrow=c(1,1))

这是步骤 $|X_i| > 1000.$ 您可以在左图中（垂直的红色虚线处）看到一些极端观测值对移动平均值的影响。

k = j[abs(x)>1000]
rbind(k, round(x[k]))
   [,1] [,2] [,3]  [,4] [,5]  [,6]   [,7]  [,8]
k   291  898 1293  1602 2547  5472   6079  9158
  -5440 2502 5421 -2231 1635 -2644 -10194 -3137

一致性在估计中很重要：从柯西人口抽样中，的样本均值 $n = 10\,000$ 观测值比仅一个观测值更好地估计中心 $\eta$ 。相反，一致的样本中位数收敛到 $\eta,$ 因此较大的样本产生更好的估计。

— 布鲁斯
source

1

仔细检查一下，但您的模拟表明样本均值几乎可以肯定地（而不是概率）收敛到柯西中心（强一致性与弱一致性）的失败。

— 2016年

9

一个非常简单的示例就是一个过于简化的模型，该示例说明了考虑一致性的重要性，而我认为这并没有引起足够的重视。

作为一个理论示例，假设您想在某些数据上拟合线性回归模型，其中实际影响实际上是非线性的。这样一来，您就无法针对所有协变量组合的真实均值得出一致的预测，而可能会有更灵活的预测。换句话说，简化模型将具有无法通过使用更多数据来克服的缺点。

— 悬崖AB
source

这未必是真实的，因为线性回归模型“总是适合”，在某种意义上说，

。您可能会认为该模型很好，但是“错误”实际上是假设残差具有iid正态分布。

y_{i} = {\hat{y}}_{i} + {\hat{e}}_{i}

$y_i=\hat{y}_i+\hat{e}_i$

— 概率

8

@BruceET已经给出了很好的技术答案，但是我想补充一点。

统计学中的基本概念之一是，随着样本量的增加，我们可以得出有关基础分布的更精确的结论。您可以将其视为这样一种概念，即进行大量采样可以消除数据中的随机抖动，因此我们可以更好地了解底层结构。

这一脉定理的实例很丰富，但最知名的是大数定律，断言，如果我们有独立同分布的随机变量的家族 $(X_i)_{i\in\mathbb{N}} \$ 和 $\mathbb{E}[X_1] < \infty$ ，则

\frac{1}{n} \sum_{k = 1}^{n} X_{k} \to E [X] a.s.

$\frac{1}{n} \sum_{k = 1}^n X_k \rightarrow \mathbb{E}[X] \ \ \ \text{a.s.}$

现在，要要求估算器保持一致，就是要求它也遵循以下规则：由于其工作是估算未知参数，因此我们希望它收敛到该参数（请阅读：任意估算该参数）作为样本大小趋于无穷大。

等式

lim_{n \to \infty} P (| W_{n} - θ | > ϵ) = 0, \forall ϵ > 0 \forall θ \in Θ

$\lim_{n\to\infty} P(|W_n - \theta|> \epsilon) = 0, \quad \forall\epsilon > 0\ \forall\theta \ \in \Theta$

$W_n$ $\theta$

现在，如果需要，您可以反过来查看：如果该条件失败，那么即使样本数量无限，也会有一个宽度为正的“走廊” $[\theta - \varepsilon, \theta + \varepsilon]$ 周围 $\theta$ 还有一个非零的概率，即使样本数量任意大，我们的估计量也会落在该范围之外。这显然违反了上述想法，因此一致性是估算者渴望和执行的非常自然的条件。

— Marc Vaisband
source