在统计中定义完整性是不可能从其形成无偏估计

21

在经典统计中，有一个定义是将一组数据的统计量定义为对于参数是完整的，因此不可能从中简单地形成的无偏估计量。也就是说，使所有的唯一方法是几乎肯定地使为。 $T$ $y_1, \ldots, y_n$ $\theta$ $0$ $E h(T (y )) = 0$ $\theta$ $h$ $0$

这背后有直觉吗？似乎这是一种比较机械的定义方式，我知道以前已经有人问过这个问题，但是我想知道是否存在一种非常容易理解的直觉，这会使入门级学生更容易地消化材料。

— 用户1398057
source

2

这是一个非常好的问题，我必须亲自研究一下。事实证明，它是这么机械的定义，对于像我这样的标准执业者而言，似乎没有直观意义，原因是它主要用于证明数学统计学的基本贡献。特别是，我的简短搜索显示，莱曼-谢夫定理和巴苏定理要求统计的完整性才能成立。这些是1950年代中期的贡献。我不能为您提供一个直观的解释-但如果你真的想建立一个，也许证明associ

— 赫雷米亚斯ķ

18

我将尝试添加到其他答案。首先，完整性是一个技术条件，主要由使用它的定理证明。因此，让我们从发生它们的一些相关概念和定理开始。

令 $X=(X_1,X_2,\dotsc,X_n)$ 表示IID数据，这是我们建模为具有分布的矢量 $f(x;\theta), \theta \in \Theta$ 其中参数 $\theta$ 管辖数据是未知的。 $T=T(X)$ 是足够的，如果的条件分布 $X \mid T$ 不依赖于该参数 $\theta$ 。 $V=V(X)$ 如果的分布不依赖于（在族内则是辅助的。的期望值为零，则它是零的无偏估计量，而与。如果基于的零的任何无偏估计量都等于零，即则是一个完整的统计量。 $V$ $\theta$ $f(x;\theta)$ $U=U(X)$ $\theta$ $S=S(X)$ $S$ $\DeclareMathOperator{\E}{\mathbb{E}} \E g(S)=0 (\text{for all $\theta$})$ 则 $g(S)=0$ ae（对于所有 $\theta$ ）。

现在，假设您有两个基于充分统计量不同的 $\theta$ 的无偏估计量，。也就是说，在符号 $T$ $g_1(T), g_2(T)$

E g_{1} (T) = θ, E g_{2} (T) = θ

$\E g_1(T)=\theta ,\\ \E g_2(T)=\theta$ 并且

P (g_{1} (T) \neq g_{2} (T)) > 0

$\DeclareMathOperator{\P}{\mathbb{P}} \P(g_1(T) \not= g_2(T) ) > 0$ （对于所有

θ

$\theta$ ）。然后

g_{1} (T) - g_{2} (T)

$g_1(T)-g_2(T)$ 是零的无偏估计，这是不相同的零，这证明

T

$T$ 是不完整的。因此，足够大的统计量

T

$T$ 完备性使我们知道，确实只有一个唯一的

无偏估计量

θ

$\theta$ 基于

T

$T$ 。这已经非常接近Lehmann–Scheffé定理。

让我们看一些例子。假设 $X_1, \dotsc, X_n$ 现在在区间 $(\theta, \theta+1)$ 上是均匀的。我们可以证明（ $X_{(1)} < X_{(2)} < \dotsm < X_{(n)}$ 是阶次统计量）对 $(X_{(1)}, X_{(n)})$ 就足够了，但是并不完整，因为差异 $X_{(n)}-X_{(1)}$ 是辅助的，我们可以计算它的期望，让它成为 $c$ （这是一个功能 $n$ 只），然后 $X_{(n)}-X_{(1)} -c$ 将是无偏的零估计器不等于零。因此，在这种情况下，我们足够的统计数据并不完整也不足够。我们可以看到这意味着什么：存在足够统计量的函数，这些函数不能提供有关信息 $\theta$ （在模型的上下文中）。如果没有足够完整的统计数据，就不可能发生这种情况。从某种意义上说，它具有最大的指导意义，因为它的功能都不是指导性的。在另一方面，如果在最低限度足够的统计有预期为零，这可以被看作是一个的一些功能噪声项，在车型干扰/噪音方面有预期为零。因此我们可以说，不完整的足够统计量确实包含一些噪声。

在该范围再看看 $R=X_{(n)}-X_{(1)}$ 在这个例子中。由于其分布不依赖于 $\theta$ ，它没有自身单独包含有关的任何信息 $\theta$ 。但是，加上足够的统计数据，它确实可以！怎么样？看一下观察到 $R=1$ 的情况，然后在我们的模型（已知为真）的情况下，我们对 $\theta$ 有了完备的知识！即，我们可以确定地说 $\theta = X_{(1)}$ 。您可以检查任何其他值 $\theta$ 然后在假定模型下导致 $X_{(1)}$ 或 $X_{(n)}$ 是不可能的观察。另一方面，如果我们观察到 $R=0.1$ ，则 $\theta$ 的可能值范围相当大（练习...）。

从这个意义上讲，辅助统计量 $R$ 确实包含一些有关精度的信息，我们可以根据此数据和模型估算 $\theta$ 。在本示例及其他示例中，辅助统计量 $R$ “承担了样本量的作用”。通常，置信区间等需要样本大小 $n$ ，但是在本示例中，我们可以使条件置信区间仅使用 $R$ 而不是 $n$ （运动）来计算。这是费舍尔的一个想法，即推论应基于条件一些辅助统计。

现在，巴苏定理：如果 $T$ 完全足够，则它独立于任何辅助统计量。也就是说，基于完全足够的统计量进行的推断更为简单，因为我们无需考虑条件推断。当然，对独立于 $T$ 的统计数据的条件不会改变任何东西。

然后，最后一个例子给出更多的直觉。改变我们的均匀分布例如对间隔的均匀分布 $(\theta_1, \theta_2)$ （与 $\theta_1<\theta_2$ ）。在这种情况下，统计量 $(X_{(1)}, X_{(n)})$ 是完整且充分的。发生了什么变化？我们可以看到完整性确实是模型的属性。在前一种情况下，我们的参数空间有限。此限制通过在订单统计信息中引入关系破坏了完整性。通过消除此限制，我们就可以做到完整性！因此，从某种意义上说，缺乏完整性意味着参数空间不够大，并且通过扩大它，我们可以希望恢复完整性（并因此更容易推断）。

其他一些例子，其中由于参数空间的限制而导致缺乏完整性，

请参阅我的回答： Fisher信息是什么信息？
设 $X_1, \dotsc, X_n$ 为 $\mathcal{Cauchy}(\theta,\sigma)$ （位置比例模型）。然后订单统计足够但不完整。但是，现在扩大这种模式到完全非参数模型，仍然IID但记者从一些完全未指定分配 $F$ 。这样，订单统计就足够完整了。
对于具有规范参数空间（即，尽可能大）的指数族，最小统计量也是完整的。但是在许多情况下，像弯曲的指数族一样，对参数空间引入限制会破坏完整性。

一篇非常相关的论文是《完整性的解释》和《巴苏定理》。

— 克吉蒂尔·哈沃森
source

7

从最佳（最小方差）无偏估计量理论中可以得到一些直觉。

如果然后是一个最好的无偏估计当且仅当是不相关为零所有无偏估计。 $E_\theta W=\tau(\theta)$ $W$ $\tau(\theta)$ $W$

证明：令为与所有零的无偏估计量不相关的无偏估计量。让是另一估计器，使得。写。由假设， $W$ $W'$ $E_\theta W'=E_\theta W=\tau(\theta)$ $W'=W+(W'-W)$ 。因此，对于任何，。 $Var_\theta W'=Var_\theta W+Var_\theta (W'-W)$ $W'$ $Var_\theta W'\geq Var_\theta W$

现在假设是最佳无偏估计量。让我们有一些其他的估计用。对于也是无偏的。我们有 $W$ $U$ $E_\theta U=0$ $\phi_a:=W+aU$ $\tau(\theta)$ 如果有一个，使得，我们将获得为

V a r_{θ} ϕ_{a} := V a r_{θ} W + 2 a C o v_{θ} (W, U) + a^{2} V a r_{θ} U .

$Var_\theta \phi_a:=Var_\theta W+2aCov_\theta(W,U)+a^2Var_\theta U.$

θ_{0} \in Θ

$\theta_0\in\Theta$

C o v_{θ_{0}} (W, U) < 0

$Cov_{\theta_0}(W,U)<0$

V a r_{θ} ϕ_{a} < V a r_{θ} W

$Var_\theta \phi_a<Var_\theta W$

。

可能不是最佳的无偏估计量。优质教育

a \in (0, - 2 C o v_{θ_{0}} (W, U) / V a r_{θ_{0}} U)

$a\in(0,-2Cov_{\theta_0}(W,U)/Var_{\theta_0} U)$

W

$W$

直观地讲，结果表明，如果估算器是最佳的，则不可能仅通过向其添加一些噪声来改善它，就其与平均仅为零的估算器相结合（即零的无偏估算器）而言）。

不幸的是，很难描述所有零的无偏估计量。情况变得更简单，如果零本身是零的唯一无偏估计，因为任何统计满足。完整性描述了这种情况。 $W$ $Cov_\theta(W,0)=0$

— 克里斯多夫·汉克
source