不一致的估算器是否更可取？

一致性显然是自然而重要的属性估计量，但是在某些情况下，使用不一致的估计量比使用一致的估计数更好吗？

更具体地说，是否存在一个不一致估计量的示例，该估计量对于所有有限的（相对于某些合适的损失函数）都胜过一个合理的一致估计量？ $n$

estimation consistency

— 曼斯
source

在使用套索及其变量（很多！）的情况下，模型选择的一致性与估计问题中的参数一致性之间存在性能上的有趣折衷。例如，在Bühlmann和van der Geer的最新著作中对此进行了详细说明。

— 主教

我现在已删除的答案中的论据是否仍然成立？即：在小样本中，最好有一个具有低方差的无偏估计量。还是可以证明一致的估计量总是比其他无偏的估计量具有更低的方差？

— Bob Jansen 2012年

也许，@ Bootvis！您是否有一个MSE较低的估算器不一致的示例？

— MånsT

@Bootvis：如果您碰巧看到对最近一个有关一致性与无偏性的问题的回答的大量评论，您将看到一个一致的估计量可以同时具有方差和偏差的任意疯狂行为（甚至同时！）。。那应该消除关于您的评论的所有疑问。

— 红衣主教

我以为我是两本书中的一本，但显然我也错了！这个例子无处可寻。@cardinal：听起来很有趣，将检查出来

— 鲍勃·詹森

这个答案描述了一个现实的问题，其中一个自然的一致估计量由一个不一致的估计量支配（对于所有样本量的所有可能的参数值而言，其表现都优于）。它的灵感来自于一致性最适合二次损失的想法，因此使用与该损失有很大差异的损失（例如非对称损失）应该使一致性在评估估计器的性能时几乎毫无用处。

假设您的客户希望根据iid样本估计变量的均值（假设具有对称分布，但他们不赞成（a）对其进行低估或（b）严重高估它。 $(x_1, \ldots, x_n)$

为了了解这是如何实现的，让我们采用一个简单的损失函数，并理解在实践中损失可能在数量上（但在定性上）不同于该损失。选择的测量单元，使得是最大可容忍高估，并设置一个估计的损失时的真正均值为等于每当和等于否则。 $1$ $t$ $\mu$ $0$ $\mu \le t\le \mu+1$ $1$

该计算是针对平均分布的普通家庭特别简单和方差，则对于样本均值 $\mu$ $\sigma^2 \gt 0$ 具有正常分布。众所周知，样本均值是的一致估计量。写为标准正常CDF，样品平均值的预期损失等于 $\bar{x}=\frac{1}{n}\sum_i x_i$ $(\mu, \sigma^2/n)$ $\mu$ $\Phi$ ：来自于50％的机会，样本平均值会低估真正均值和 $1/2 + \Phi(-\sqrt{n}/\sigma)$ $1/2$ 来自于将真实均值高估的机会。 $\Phi(-\sqrt{n}/\sigma)$ $1$

的预期损失等于该标准正态分布PDF下的蓝色区域。红色区域表示下面的替代估计量的预期损失。它们的不同通过更换之间的固体蓝色区域 $\bar{x}$ 和通过之间的较小的固体红色区域 $-\sqrt{n}/(2\sigma)$ $0$ 和 $\sqrt{n}/(2\sigma)$ 。随着增加，该差异也随之增加。 $\sqrt{n}/\sigma$ $n$

由下式给出一个替代估计具有的预期损失 $\bar{x}+1/2$ 。正态分布的对称性和单峰性意味着它的预期损失总是好于样本均值。（这使得该样本平均值不予受理这一损失）。事实上，样品平均值的预期损失具有的下限而，替代收敛到作为增长。但是，替代方案显然是不一致的：随着增长，它的概率收敛到。 $2\Phi(-\sqrt{n}/(2\sigma))$ $1/2$ $0$ $n$ $n$ $\mu+1/2 \ne \mu$

损失函数

$\bar{x}$ $\bar{x}+1/2$ $n$

— ub
source

L_{2}

$L_2$

L_{2}

$L_2$

@Macro这种想法有些间接，并不打算严格，但我相信这是很自然的：二次损失意味着将方差最小化（通过Chebyshev），从而导致概率趋同。因此，寻找反例的启发式方法应着重于损失，而损失远非二次方，以至于此类操作都不成功。

— ub

1 / 2

$1/2$

0

$0$

n

$n$

@Michael OK，谢谢您的解释。在这种情况下，在非二次损失的情况下，“优势”并未表达为偏见。有人可能会批评这种损失函数，但我不想完全拒绝它：例如，它对以下情况建模：数据是按一定公差制造的项目的测量结果，这将是灾难性的（如Shuttle O形圈故障）或企业破产灾难性损失），其真实含义超出了这些容忍度。

— ub

（+1）好答案，@ whuber！我特别喜欢它并不太觉得病态-我可以想到许多情况下都适用这种类型的损失。

— MånsT