均方误差用于评估一个估算器相对于另一个估算器的相对优势吗？

13

假设我们有两个参数估计量和。为了确定哪个估算器“更好”，我们看一下MSE（均方误差）吗？换句话说，我们看，其中是估计量的偏差，而是估计量的方差？哪个拥有更高的MSE才是更差的估算器？ $\alpha_1$ $\alpha_2$ $x$

M S E = β^{2} + σ^{2}

$MSE = \beta^2+ \sigma^2$

β

$\beta$

σ^{2}

$\sigma^2$

estimation mse

— 达米安
source

10

如果您有两个相互竞争的估算器和，则告诉您是更好的估算器完全取决于您对“最佳”的定义。例如，如果您要比较无偏估计量，并且用“更好”来表示方差较小，那么是的，这意味着更好。是一种流行的标准，因为它与最小二乘法和高斯对数似然有关，但是，像许多统计标准一样，应注意不要使用 $\hat \theta_1$ $\hat \theta_2$

M S E ({\hat{θ}}_{1}) < M S E ({\hat{θ}}_{2})

${\rm MSE}(\hat \theta_1) < {\rm MSE}(\hat \theta_2)$

{\hat{θ}}_{1}

$\hat \theta_1$

{\hat{θ}}_{1}

$\hat \theta_1$

M S E

$\rm MSE$

M S E

$\rm MSE$ 盲目地作为估算器质量的度量，而不关注应用程序。

在某些情况下，选择估算器以最小化可能不是一件特别明智的事情。我想到两种情况： ${\rm MSE}$

如果数据集中有非常大的离群值，那么它们可能会极大地影响MSE，因此使MSE最小化的估算器可能会受到此类离群值的不当影响。在这种情况下，估算器可以最小化MSE的事实并不能告诉您太多信息，因为如果删除异常值，您将获得截然不同的估算值。从这个意义上说，MSE对异常值不是“健壮”的。在回归的情况下，这一事实是促使Huber M-Estimator（我在此答案中讨论）的原因，当存在长尾误差时，它会最小化不同的标准函数（即平方误差和绝对误差之间的混合）。。
如果您要估计有界参数，则比较可能不合适，因为在这种情况下，它对过度使用和过度使用的惩罚不同。例如，假设您正在估算方差。然后，如果您有意识地低估了的数量最多为，而高估了可能会产生远远超过的，甚至可能是无穷大的数量。 $\rm MSE$ $\sigma^2$ $\rm MSE$ $\sigma^4$ $\rm MSE$ $\sigma^4$

为了更清楚地说明这些缺点，我将给出一个具体示例，说明由于这些问题，何时可能不是评估估算器质量的适当方法。 $\rm MSE$

假设您有一个来自自由度的分布的样本，我们正在尝试估计方差，即。考虑两个相互竞争的估计量：和显然，而可以使用 $X_1, ..., X_n$ $t$ $\nu>2$ $\nu/(\nu-2)$

{\hat{θ}}_{1} : t h e u n b i a s e d s a m p l e v a r i a n c e

$\hat \theta_{1}: {\rm the \ unbiased \ sample \ variance}$

{\hat{θ}}_{2} = 0, r e g a r d l e s s o f t h e d a t a

$\hat \theta_{2} = 0,{\rm \ regardless \ of \ the \ data}$

M S E ({\hat{θ}}_{2}) = \frac{ν^{2}}{(ν - 2)^{2}}

$\rm MSE(\hat \theta_{2}) = \frac{\nu^2}{(\nu-2)^2}$

M S E ({\hat{θ}}_{1}) = {\begin{cases} \infty & if ν \leq 4 \\ \frac{ν^{2}}{(ν - 2)^{2}} (\frac{2}{n - 1} + \frac{6}{n (ν - 4)}) & if ν > 4 . \end{cases}

${\rm MSE}(\hat \theta_{1}) = \begin{cases} \infty &\mbox{if } \nu \leq 4 \\ \frac{\nu^2}{(\nu-2)^2} \left( \frac{2}{n-1}+\frac{6}{n(\nu-4)} \right) & \mbox{if } \nu>4 . \end{cases}$ 事实上在此线程讨论和所述的特性 -配送

t

$t$ 。因此，无论何时 $\rm MSE$ $\nu < 4$ ，无论样本大小如何，朴素的估计器都在方面胜过，这实在令人不安。当也要好，但这仅与很小的样本量有关。发生上述情况是由于分布的长尾性质和较小的自由度，这使得倾向于具有非常大的值，并且因高估而受到严重惩罚，而

(\frac{2}{n - 1} + \frac{6}{n (ν - 4)}) > 1

$\left( \frac{2}{n-1}+\frac{6}{n(\nu-4)} \right) > 1$

t

$t$

{\hat{θ}}_{2}

$\hat \theta_{2}$

M S E

$\rm MSE$

{\hat{θ}}_{1}

$\hat \theta_1$ 没有这个问题。

最重要的是，在这种情况下，不是适当的度量估计器性能 $\rm MSE$ 。这很清楚，因为以为主的估计量是荒谬的（特别是因为如果观察到的数据中存在任何可变性，就没有机会证明它是正确的）。也许更合适的方法（如Casella和Berger所指出的）将是选择方差估计量来使斯坦因损失最小化： $\rm MSE$ $\hat \theta$

S (\hat{θ}) = \frac{\hat{θ}}{ν / (ν - 2)} - 1 - \log (\frac{\hat{θ}}{ν / (ν - 2)})

$S(\hat \theta) = \frac{ \hat \theta}{\nu/(\nu-2)} - 1 - \log \left( \frac{ \hat \theta}{\nu/(\nu-2)} \right)$

对低估与高估均会受到惩罚由于 :)，这也使我们恢复了理智。 $S(\hat \theta_1)=\infty$

— 巨集
source

（+1）好讨论。公平地说，应该指出，对于其他标准（其他损失函数）也可以提出类似的论据。

— MånsT

2

通常，人们通过查看估算器的风险函数来评估估算器，这些函数绘制了预期损失与参数的关系。在这里，通过固定参数，您可能会产生误导性的分析。毕竟，愚蠢的（恒定的，对数据无知的）估计器总是会产生非常低的预期损失：总是将其设置为等于正确的参数！这让我想知道模拟在这里实际显示了什么。

— ub

@whuber，我已经修改了此答案以分析性地给出示例，这也许使它更加清晰。我还提供了可能更合适的替代损失函数。

— 2012年

ν

$\nu$

2

$L(\alpha_i) = (\alpha_i - \alpha)^2$

— JMS
source

2

$f(x) = x^2$

$f(x) = |x|$

如果误差项呈正态分布，则MSE可能是一个不错的选择。如果它们的尾巴较粗，则最好选择更可靠的选择，例如绝对值。

— 阿普罗科皮
source

0

In Case＆Berger统计推断第2版，第332页指出，MSE对于高估和低估均将受到同样的惩罚，这在定位案例中很好。但是，在比例尺情况下，0是自然的下限，因此估计问题不是对称的。在这种情况下使用MSE可能会导致低估。

您可能要检查哪个估计量满足UMVUE属性，这意味着使用Cramer-Rao下限。341。

— 涂2
source