是否始终有针对任何MLE问题的最大化器？

23

我想知道是否总是有一个最大化器来解决任何最大（对数）似然估计问题？换句话说，是否存在一些分布及其某些参数，而MLE问题没有最大化器？

我的问题来自工程师的说法，即MLE中的成本函数（似然性或对数似然性，我不确定这是预期的）始终是凹形的，因此总是具有最大化值。

谢谢并恭祝安康！

maximum-likelihood optimization

— 提姆
source

8

（+1）您确定您的问题中没有某些资格未阐明吗？就目前而言，工程师的说法在许多方面都是错误的，几乎很难知道从哪里开始。:)

— 主教

@cardinal：我基本上记下了我听到的内容。但是我承认我可能会错过一些东西。

— 蒂姆（Tim）

5

反（凸）：令

是独立同分布的

。虽然有一个独特的MLE，既不可能性也不数似然是凸面在

。

X_{1}, X_{2}, \dots, X_{n}

$X_1,X_2,\ldots,X_n$

N (0, σ^{2})

$\mathcal N(0,\sigma^2)$

σ^{2}

$\sigma^2$

— 主教

3

@Tim Logistic回归是MLE并不总是存在的一个基本示例。另外，对于某些链接功能，对数似然不是凹的。

30

也许工程师会想到典型的指数族：在自然的参数化中，参数空间是凸的，对数似然是凹的（请参阅Bickel＆Doksum的《数学统计》，第1卷中的 Thm 1.6.3 ）。同样，在一些温和的技术条件下（基本上该模型为“满秩”，或等效地，该自然参数可识别），对数似然函数是严格凹的，这意味着存在唯一的最大化器。（推论1.6.2在同一参考文献中。）[此外，@ biostat引用的讲义也指出了这一点。]

请注意，规范指数族的自然参数化通常不同于标准参数化。所以，虽然@cardinal指出对数似然为家庭是不是凸在，这将是凹的自然参数，这是和。 $\mathcal{N}(\mu,\sigma^2)$ $\sigma^2$ $\eta_1 = \mu / \sigma^2$ $\eta_2 = -1/\sigma^2$

— 戴维
source

2

（+1）个好答案。正如我在对OP的评论中所暗示的那样，这就是我希望发布的答案（即使是考虑到这一点，谨慎选择反例）。:)

— 主教

2

可以在多元高斯模型中显示吗？

— 罗伊

6

似然函数通常在估计感兴趣参数时达到最大值。然而，有时不存在MLE，例如高斯混合分布或非参数函数，其具有多个以上的峰（双峰或多峰）。我经常面临估计种群遗传学未知参数（即重组率，自然选择的影响）的问题。

@cardinal指出原因之一就是无界参数空间。

此外，我建议推荐以下文章，请参见第3节（有关功能）和图3。然而，有相当多有用和方便的文档有关MLE的信息。

— 生物统计仪
source

3

我想我一定误会了你所说的例子。哪些二次函数具有一个以上的峰？

— 主教

@cardinal：让我尝试解释一下。您要指出的是，即使在正态分布的简单示例中，无界参数也是似然函数未达到最大值的原因之一。但是，我的观点是从优化角度来看，存在局部和全局最大值的普遍问题。在估计重组率的同时，我经常在群体遗传学中遇到这个问题。此外参见本文第3（对于功能）和图3的文章URL：citeseerx.ist.psu.edu/viewdoc/...

— 的Biostat

因此，您是说“具有一个以上峰的二次函数”是对例如高斯混合模型的参考吗？如果是这样，则编辑可能会消除一些混乱。

— 主教

现在已更新。

— Biostat 2011年

2

（+1）更新。请注意，在高斯混合模型中，通常同时存在无穷可能性和多个局部最大值。更糟的是，这种可能性在特别的病理学解决方案中变得无穷无尽。通常，多个最大值可能不是一个问题。在某些情况下，这些最大值相互收敛的速度足够快，以至于挑选其中任何一个仍可以渐近地得出目标参数的合理（甚至有效）估计。

— 主教

3

我承认我可能会缺少一些东西，但是-

如果这是一个估计问题，并且目标是估计一个未知参数，并且已知该参数来自某个封闭和有界集合，并且似然函数是连续的，则该参数必须存在一个最大化似然函数。换句话说，必须存在最大值。（它不必是唯一的，但必须至少存在一个最大值。不能保证所有局部最大值都是全局最大值，但这不是存在最大值的必要条件。）

我不知道似然函数是否总是必须是凸的，但这不是存在最大值的必要条件。

如果我忽略了某些内容，欢迎听到我缺少的内容。

— DW
source

4

在没有其他假设的情况下，关于最大值的陈述是错误的。例如，如果参数空间是封闭且有界的，并且似然函数在参数中是连续的，则必须存在最大值。如果没有这两个附加条件，则结果不必成立。关于凸性，即使在最简单和最常见的示例中，它也失败了。:)

— 红衣主教

2

（+1）在很多简单情况下，参数空间的有界性也不成立。但是，出于实际目的，我们通常知道我们的参数是有界的。:)

— 红衣主教

3

也许有人会发现以下简单示例很有用。

$\theta$ $\theta \in (0,1)$ $(0,1)$ $\theta$

{\begin{cases} θ & 头 \\ 1个 - θ & 尾巴 \end{cases} 。

$\begin{cases} \theta & \text{heads} \\ 1-\theta & \text{tails} \end{cases} .$

θ

$\theta$

(0, 1)

$(0,1)$

— 商务部
source