上UMVUE的存在和选择的估计的在人口

让是从绘制的随机样本人口其中。 $(X_1,X_2,\cdots,X_n)$ $\mathcal N(\theta,\theta^2)$ $\theta\in\mathbb R$

我正在寻找的UMVUE 。 $\theta$

联合密度为 $(X_1,X_2,\cdots,X_n)$

\begin{aligned} f_{θ} (x_{1}, x_{2}, \dots, x_{n}) & = \prod_{i = 1}^{n} \frac{1}{θ \sqrt{2 π}} \exp [- \frac{1}{2 θ^{2}} (x_{i} - θ)^{2}] \\ = \frac{1}{(θ \sqrt{2 π})^{n}} \exp [- \frac{1}{2 θ^{2}} \sum_{i = 1}^{n} (x_{i} - θ)^{2}] \\ = \frac{1}{(θ \sqrt{2 π})^{n}} \exp [\frac{1}{θ} \sum_{i = 1}^{n} x_{i} - \frac{1}{2 θ^{2}} \sum_{i = 1}^{n} x_{i}^{2} - \frac{n}{2}] \\ = g (θ, T (x)) h (x) \forall (x_{1}, \dots, x_{n}) \in R^{n}, \forall θ \in R \end{aligned}

$\begin{align} f_{\theta}(x_1,x_2,\cdots,x_n)&=\prod_{i=1}^n\frac{1}{\theta\sqrt{2\pi}}\exp\left[-\frac{1}{2\theta^2}(x_i-\theta)^2\right] \\&=\frac{1}{(\theta\sqrt{2\pi})^n}\exp\left[-\frac{1}{2\theta^2}\sum_{i=1}^n(x_i-\theta)^2\right] \\&=\frac{1}{(\theta\sqrt{2\pi})^n}\exp\left[\frac{1}{\theta}\sum_{i=1}^n x_i-\frac{1}{2\theta^2}\sum_{i=1}^nx_i^2-\frac{n}{2}\right] \\&=g(\theta,T(\mathbf x))h(\mathbf x)\qquad\forall\,(x_1,\cdots,x_n)\in\mathbb R^n\,,\forall\,\theta\in\mathbb R \end{align}$

，其中和。 $g(\theta, T(\mathbf x))=\frac{1}{(\theta\sqrt{2\pi})^n}\exp\left[\frac{1}{\theta}\sum_{i=1}^n x_i-\frac{1}{2\theta^2}\sum_{i=1}^nx_i^2-\frac{n}{2}\right]$ $h(\mathbf x)=1$

在这里， $g$ 取决于 $\theta$ 和 $x_1,\cdots,x_n$ 到 $T(\mathbf x)=\left(\sum_{i=1}^nx_i,\sum_{i=1}^nx_i^2\right)$ 并且 $h$ 独立于 $\theta$ 。因此，通过Fisher-Neyman分解定理，二维统计量 $T(\mathbf X)=\left(\sum_{i=1}^nX_i,\sum_{i=1}^nX_i^2\right)$ 足以满足 $\theta$ 。

但是， $T$ 不是一个完整的统计信息。这是因为

E_{θ} [2 {(\sum_{i = 1}^{n} X_{i})}^{2} - (n + 1) \sum_{i = 1}^{n} X_{i}^{2}] = 2 n (1 + n) θ^{2} - (n + 1) 2 n θ^{2} = 0 \forall θ

$E_{\theta}\left[2\left(\sum_{i=1}^n X_i\right)^2-(n+1)\sum_{i=1}^nX_i^2\right]=2n(1+n)\theta^2-(n+1)2n\theta^2=0\qquad\forall\,\theta$

和函数不等于零。 $g^*(T(\mathbf X))=2\left(\sum_{i=1}^n X_i\right)^2-(n+1)\sum_{i=1}^nX_i^2$

但是我确实知道是最小的足够统计量。 $T$

我不确定，但我认为这个弯曲的指数族可能不存在完整的统计数据。那么我应该如何获得UMVUE？如果不存在完整的统计量，那么将具有最小的足够统计量的函数的无偏估计量（在这种情况下，如）作为UMVUE吗？（相关主题：使无偏估计量成为UMVUE的必要条件是什么？） $\bar X$

如果我考虑的最佳线性无偏估计量（BLUE）怎么办？BLUE可以是UMVUE吗？ $\theta$

假设我考虑的线性无偏估计量，其中和。由于我们确实知道。我的想法是最小化以使是的BLUE 。将是那么的UMVUE？ $T^*(\mathbf X)=a\bar X+(1-a)cS$ $\theta$ $c(n)=\sqrt{\frac{n-1}{2}}\frac{\Gamma\left(\frac{n-1}{2}\right)}{\Gamma\left(\frac{n}{2}\right)}$ $S^2=\frac{1}{n-1}\sum_{i=1}^n(X_i-\bar X)^2$ $E_{\theta}(cS)=\theta$ $\text{Var}(T^*)$ $T^*$ $\theta$ $T^*$ $\theta$

我已经根据和采取了线性无偏估计量，因为也足以满足。 $\bar X$ $S$ $(\bar X,S^2)$ $\theta$

编辑：

大量的工作确实在的估计已经完成在更普遍的，其中家族是已知的。以下是一些最相关的参考： $\theta$ $\mathcal N(\theta,a\theta^2)$ $a>0$

我在本练习中从Casella / Berger的统计推断中找到了这些参考文献中的第一个：

我的问题不是关于此练习的。

最后的注释（本章的摘录）说的UMVUE 不存在， $\theta$ 因为最小的足够统计量不完整。我想知道是什么使我们能够得出这样的结论，即仅因为找不到完整的足够的统计数据，所以不存在 UMVUE ？是否有与此相关的结果？即使在链接的线程中不存在完整的足够统计信息，我也看到了UMVUE的存在。

现在假设不存在统一的最小方差无偏估计量，那么选择“最佳”估计量的下一个标准是什么？我们要寻找最小的MSE，最小方差还是MLE？还是选择标准取决于我们的估计目的？

例如，假设我有一个无偏估计和其他偏估计的。假设的MSE （它的方差）大于的MSE 。由于最小化MSE意味着同时最小化偏差和方差，因此我认为比是估算器的“更好”选择，尽管前者是有偏差的。 $T_1$ $T_2$ $\theta$ $T_1$ $T_2$ $T_2$ $T_1$

最后一个注释的第4页列出了估计量的可能选择。 $\theta$

以下摘录来自Lehmann / Casella 的“点估计理论”（第二版，第87-88页）：

我很可能会误解了一切，但是最后一句话是否说在某些条件下，必须存在完整的统计数据才能存在UMVUE？如果是这样，这是我应该查看的结果吗？

最后提到的是RR Bahadur的最后结果是指此注释。

经过进一步的搜索，我发现了一个结果，说明如果最小的充分统计信息不完整，那么就不存在完整的统计信息。所以至少我非常相信这里没有完整的统计信息。

我忘了考虑的另一个结果是，粗略地说一个无偏估计量成为UMVUE的必要和充分条件是它必须与每个零无偏估计量都不相关。我尝试使用该定理表明，此处不存在UMVUE，以及类的无偏估计量也不是UMVUE。但是，这并不为已完成，例如简单的工作了这里，在最后的例证。 $\bar X$

— 顽固原子
source

更新：

考虑估算器，其中在您的帖子中给出。这是是的无偏估计器，并且将清楚地具有下面给出的（对于任意值的估计相关）。

\hat{0} = \bar{X} - c S

$\hat 0 = \bar{X} - cS$

c

$c$

0

$0$

a

$a$

C＆B的定理6.2.25显示了只要在包含一个开放集，就可以找到指数族的完整充分统计量。此分布产生和，这不会在形成开放集（因为），这是因为这样，统计是不完整的用于，并且它是为同样的原因，我们可以构造的一个无偏估计它将与的任何无偏估计量相关

{(w_{1} (θ), \dots w_{k} (θ)}

$\{(w_1(\theta), \cdots w_k(\theta)\}$

R^{k}

$\mathbb R^k$

w_{1} (θ) = θ^{- 2}

$w_1(\theta) = \theta^{-2}$

w_{2} (θ) = θ^{- 1}

$w_2(\theta) = \theta^{-1}$

R^{2}

$R^2$

w_{1} (θ) = w_{2} (θ)^{2}

$w_1(\theta) = w_2(\theta)^2$

(\bar{X}, S^{2})

$(\bar{X}, S^2)$

θ

$\theta$

0

$0$

θ

$\theta$ 是基于足够的统计数据。

另一个更新：

从这里开始，论点具有建设性。一定是在存在另一个无偏估计器的情况下，对于至少一个中的来说。 $\tilde\theta$ $Var(\tilde\theta) < Var(\hat\theta)$ $\theta \in \Theta$

证明：假设，且（对于某个值）。考虑一个新的估算器此估算器显然无方差令。 $E(\hat\theta) = \theta$ $E(\hat 0) = 0$ $Cov(\hat\theta, \hat 0) < 0$ $\theta$

\tilde{θ} = \hat{θ} + b \hat{0}

$\tilde\theta = \hat\theta + b\hat0$

V a r (\tilde{θ}) = V a r (\hat{θ}) + b^{2} V a r (\hat{0}) + 2 b C o v (\hat{θ}, \hat{0})

$Var(\tilde\theta) = Var(\hat\theta) + b^2Var(\hat0) + 2bCov(\hat\theta,\hat0)$

M (θ) = \frac{- 2 C o v (\hat{θ}, \hat{0})}{V a r (\hat{0})}

$M(\theta) = \frac{-2Cov(\hat\theta, \hat0)}{Var(\hat0)}$

通过假设，必须存在一个，使得。如果我们选择，则在。因此不能是UMVUE。 $\theta_0$ $M(\theta_0) > 0$ $b \in (0, M(\theta_0))$ $Var(\tilde\theta) < Var(\hat\theta)$ $\theta_0$ $\hat\theta$ $\quad \square$

总结：事实上，是相关的与（对于任何选择）意味着我们可以构造一个新的估计比更好至少一个点，违反的一致性声称具有最佳的公正性。 $\hat\theta$ $\hat0$ $a$ $\hat\theta$ $\theta_0$ $\hat\theta$

让我们更仔细地研究一下线性组合的想法。

\hat{θ} = a \bar{X} + (1 - a) c S

$\hat\theta = a \bar X + (1-a)cS$

如您所指出的那样，是一个合理的估计量，因为它基于足够（尽管不完整）的统计信息。显然，该估计量是无偏的，因此要计算MSE，我们只需要计算方差即可。 $\hat\theta$

\begin{aligned} M S E (\hat{θ}) & = a^{2} V a r (\bar{X}) + (1 - a)^{2} c^{2} V a r (S) \\ = \frac{a^{2} θ^{2}}{n} + (1 - a)^{2} c^{2} [E (S^{2}) - E (S)^{2}] \\ = \frac{a^{2} θ^{2}}{n} + (1 - a)^{2} c^{2} [θ^{2} - θ^{2} / c^{2}] \\ = θ^{2} [\frac{a^{2}}{n} + (1 - a)^{2} (c^{2} - 1)] \end{aligned}

$\begin{align*} MSE(\hat\theta) &= a^2 Var(\bar{X}) + (1-a)^2 c^2 Var(S) \\ &= \frac{a^2\theta^2}{n} + (1-a)^2 c^2 \left[E(S^2) - E(S)^2\right] \\ &= \frac{a^2\theta^2}{n} + (1-a)^2 c^2 \left[\theta^2 - \theta^2/c^2\right] \\ &= \theta^2\left[\frac{a^2}{n} + (1-a)^2(c^2 - 1)\right] \end{align*}$

通过微分，我们可以找到给定样本大小的“最优 ” 。 $a$ $n$

a_{o p t} (n) = \frac{c^{2} - 1}{1 / n + c^{2} - 1}

$a_{opt}(n) = \frac{c^2 - 1}{1/n + c^2 - 1}$ ，其中

c^{2} = \frac{n - 1}{2} {(\frac{Γ ((n - 1) / 2)}{Γ (n / 2)})}^{2}

$c^2 = \frac{n-1}{2}\left(\frac{\Gamma((n-1)/2)}{\Gamma(n/2)}\right)^2$

下面给出了最佳选择图。 $a$

值得注意的是，作为，我们有（通过Wolframalpha确认）。 $n\rightarrow \infty$ $a_{opt}\rightarrow \frac{1}{3}$

虽然不能保证这是UMVUE，但此估计量是足够统计量的所有无偏线性组合的最小方差估计量。

— 克鲁姆西
source

感谢更新。我没有遵循C＆B作为教科书，只看了练习。

— StubbornAtom

@StubbornAtom我添加了一个证明，证明不能为UMVUE（从C＆B第344页大量借用）。看一看，让我知道这是否有帮助。

\hat{θ}

$\hat\theta$

— knrumsey