无偏最大似然估计器是否始终是最佳无偏估计器？

22

我知道对于常规问题，如果我们有最佳的常规无偏估计量，则它必须是最大似然估计量（MLE）。但是总的来说，如果我们有一个无偏的MLE，那它也是最好的无偏估计量吗（或者，只要它具有最小的方差，也许我应该称其为UMVUE）？

mathematical-statistics maximum-likelihood unbiased-estimator

— 郑加里
source

3

有趣的问题。MLE是足够统计量的函数，并且可以通过对完整且足够的统计量进行调节来获得UMVUE。因此，如果MLE是无偏的（并且是充分统计量的函数），则它没有最小方差的唯一可能方法是充分统计量不完整。我试图找到一个例子，但是没有成功。

— Greenparker

2

而这里是关于充分和完整的统计数据的一些简要信息。

— 理查德·哈迪

10

真正的问题是更多的MLE很少偏见：如果是的无偏估计和的MLE，是的MLE但偏向于大多数双射变换。

θ

$\theta$

θ

$\theta$

θ

$\theta$

f (\hat{θ})

$f(\hat\theta)$

f (θ)

$f(\theta)$

f

$f$

— 西安

1

这相关吗？印度赖布尔的Vyas Dubey Pt.Ravishankar Shukla大学，“人口均值的几乎无偏估计”

2

西安评论+1。最佳估计量意味着方差最小，无偏则意味着其他。因此，我不确定您是否可以尝试证明这一点，因为一个与另一个无关。但是，在我开始自己的推导之前，我想在（尝试）证明中付出一些认真的努力。我要说的是，即使是第一个陈述的证明（对于某些情况，MLE也是最佳的）也不是小事。

— 天使

13

在我看来，这个问题并不是真正的连贯性，因为仅因为最大似然估计量是等变的，即不可能实现似然和无偏的最大化，即估计量的变换是参数变换的估计量，而无偏不属于非线性变换。因此，如果在所有可能的参数设置范围内考虑“几乎”，则最大似然估计器几乎永远不会保持公正。

然而，有一个更直接的问题的答案：考虑到正常方差的估计时，，的UMVUE 是 $\sigma^2$ $\sigma^2$ 同时的MLE是

{\hat{σ}}_{n}^{2} = \frac{1}{n - 1} \sum_{i = 1}^{n} {x_{i} - {\bar{x}}_{n}}^{2}

$\hat{\sigma}^2_n = \frac{1}{n-1} \sum_{i=1}^n \{x_i-\bar{x}_n\}^2$

σ^{2}

$\sigma^2$

人体工程学，它们是不同的。这意味着

{\overset{ˇ}{σ}}_{ñ}^{2} = \frac{1个}{ñ} \sum_{一世 = 1个}^{ñ} {X_{一世} - {\bar{X}}_{ñ}}^{2}

$\check{\sigma}^2_n = \frac{1}{n} \sum_{i=1}^n \{x_i-\bar{x}_n\}^2$

如果我们有最佳的常规无偏估计量，则它必须是最大似然估计量（MLE）。

一般不成立。

还要注意，即使存在参数无偏估计量，也不一定有最佳无偏最小方差估计量（UNMVUE）。 $\theta$

— 西安
source

那么我们可以说无偏MLE是（U）MVUE，但不是每个（U）MVUE都是MLE吗？

— Sextus Empiricus

2

不，我们没有理由相信总体上是正确的。

— 西安

13

但是总的来说，如果我们有一个无偏的MLE，那它也是最好的无偏估计量吗？

如果有足够完整的统计信息，则为是。

证明：

Lehmann-Scheffé定理：依赖于完整充分统计量的任何无偏估计量都是最佳的（UMVUE）。
MLE是任何足够统计信息的函数。见4.2.3 此处 ;

因此，只要存在完整的足够统计信息，无偏MLE就必然是最好的。

但是实际上，由于几乎没有完整的统计信息，因此几乎没有应用该结果的情况。这是因为（对于）仅存在MLE最常出现偏差的指数族（高斯的位置参数除外），存在完整的（基本上）统计信息。

因此，真正的答案实际上是“ 否”。

$p_\theta(x)=p(x-\theta$ $p$ $\forall t\in\mathbb{R} \quad p(-t)=p(t)$ $n$

MLE是公正的
它由另一个称为Pitman的等方估计量的无偏估计量控制

$p$

— 贝诺伊特·桑切斯（Benoit Sanchez）
source

为什么投票率最高？我觉得这个答案比西安的要好。

— Red Floyd

0

MLE的渐近方差为UMVUE，即达到cramer rao下界，但有限方差可能不是UMVUE，以确保估计量为UMVUE，它应足够，完整，统计量或该统计量的任何函数。

— 塞拉特·西姆塞克
source

0

简而言之，如果没有偏见且具有完整且充分的统计功能，则估计器为UMVUE。（请参阅Rao-Blackwell和Scheffe）

— creutzml
source

这意味着这仅限于指数族。

— 西安