为什么是最大可能性而不是预期可能性？

为什么获得参数的最大似然估计如此常见，但实际上您从未听说过预期似然参数估计（即，基于期望值而不是似然函数的模式）？这主要是出于历史原因，还是出于实质性的技术或理论原因？

使用预期似然估计而不是最大似然估计是否有明显的优势和/或劣势？

有没有在预期的似然估计一些地区的常规使用？

— 杰克·韦斯特伦
source

关于什么概率分布的期望值？ML通常应用于非贝叶斯分析，其中（a）给出（并固定）数据，并且（b）将参数视为（未知）常量：根本没有随机变量。

— ub

Answers:

提出的方法（将似然性归一化为密度之后）等效于对模型中的所有参数使用平坦的先验并使用后验分布的平均值作为估计量来估计参数。在某些情况下，使用平坦的先验会给您带来麻烦，因为您最终无法获得适当的后验分布，因此我不知道您将如何在此处纠正这种情况。

但是，停留在一个频繁出现的情况下，该方法没有多大意义，因为在大多数情况下可能性都不构成概率密度，并且没有任何随机性，因此进行期望没有多大意义。现在，我们可以将其形式化为一个操作，将其应用于事实之后以获得似然的可能性，但是我不确定该估计量的频繁属性会是什么样（在实际存在估计的情况下）。

好处：

在某些实际不存在MLE的情况下，这可以提供一个估计。
如果您不固执，则可以将您带入贝叶斯设置（这可能是对这种估计进行推断的自然方法）。好的，根据您的观点，这可能不是优势-但这对我而言。

缺点：

这也不保证存在。
如果我们没有凸参数空间，则估计值可能不是该参数的有效值。
该过程对于重新参数化而言并非不变。由于该过程等效于在参数上放一个平面优先级，因此这些参数的含义有所不同（我们在谈论使用作为参数还是在使用） $\sigma$ $\sigma^2$

— 达森
source

+1 假设参数均匀分布的一个巨大问题是，机器学习问题通常是通过利用重新求解参数解的不变性来重新制定的；但是，这将改变参数的先验分布。因此，将参数视为具有均匀分布的“期望”是一个任意假象，并且可能导致错误和毫无意义的结果。

— whuber

好点子！我也想提一提，但是忘记输入其余内容时将其调出。

— 戴森2014年

根据记录，最大可能性也不是重新参数化的。

— 尼尔·G

@NeilG是的吗？也许我们指的是不同的想法。你这么说是什么意思

— 戴森2014年

p \in [0, 1]

$p \in [0,1]$

α = β = 2

$\alpha=\beta=2$

o \in [0, \infty)

$o \in [0, \infty)$

α = β = 2

$\alpha=\beta=2$

\frac{1}{2}

$\frac12$

\frac{1}{3}

$\frac13$

\frac{1}{4}

$\frac14$

原因之一是最大似然估计更容易：将参数的似然导数设置为零，然后求解参数。期望值意味着对每个参数进行似然乘积。

$\{x_i\}$ $\mu=E(x)$ $\chi=E(x^2)$

在某些情况下，最大似然参数与预期似然参数相同。例如，上面的正态分布的预期似然平均值与最大似然相同，因为均值的先验值是正态的，并且正态分布的众数与均值一致。当然，对于其他参数（无论如何将其参数化），这都不是正确的。

我认为最重要的原因可能是您为什么要期望参数？通常，您正在学习模型，而参数值就是您想要的。如果您要返回一个值，最大的可能性不是最好的返回值吗？

— 尼尔·G
source

关于最后一行：也许-也许不是。这取决于您的损失功能。我只是在嘲笑杰克的想法，对于X〜Unif（0，theta）来说，杰克的方法给出的max（X）*（n-1）/（n-2）似乎更好。 MSE大于作为MLE的max（X）（当n> = 5时，至少仿真暗示了这一点）。显然，Unif（0，theta）示例不是典型示例，但它确实表明还有其他可行的方法来获取估计量。

— 戴森2014年

@Dason一个标准（和强大的）频率论技术寻找好（即，受理）估计是计算各种先验贝叶斯估计。（例如，参见莱曼关于点估计的书。）您刚刚重新发现了一个这样的估计器。

— whuber

谢谢您的回答尼尔！您说与集成相比，通过微分获得参数估计要容易得多，我当然可以看到对于简单的问题（例如，笔和纸的水平或相距不远）的正确性。但是对于必须依靠数值方法的更为复杂的问题，使用积分实际上不是更容易吗？在实践中，找到MLE可能会遇到相当困难的优化问题。在数值上近似逼近积分实际上在计算上更容易吗？还是在大多数情况下不太可能是这样？

— Jake Westfall

@JakeWestfall：您将如何使用数值方法对参数空间进行期望？在具有巨大参数空间的复杂模型空间中，您无法整体评估每个模型的可能性（参数设置）。通常，您将运行EM，在该EM中，M步进行参数估计，以使每个参数都是您所说的“简单问题”之一，并且最大似然参数是对足够统计量的直接期望。

— Neil G

@NeilG好吧，Dason指出，我正在讨论的方法（在归一化之后）等效于贝叶斯估计（先验为平坦），然后使用后验均值作为估计。因此，响应“您将如何使用数值方法对参数空间进行期望？” 我想我当时在考虑可以使用以下方法之一：bayesian-inference.com/numericalapproximation对这个有任何想法吗？

— Jake Westfall

存在这种方法，它称为最小对比度估计器。相关论文的示例（并从内部查看其他参考文献） https://arxiv.org/abs/0901.0655

— 丹妮拉·多罗申（Danila Doroshin）
source