MLE是否总是意味着我们知道数据的基础PDF,而EM是否意味着我们不知道?


12

关于MLE(最大似然估计),以及与EM(期望最大化)之间的联系,我想澄清一些简单的概念性问题。

据我了解,如果有人说“我们使用了MLE”,这是否自动意味着他们拥有其数据PDF的显式模型?在我看来,答案是肯定的。换句话说,如果有人在任何时候说“ MLE”,可以公平地问他们假设使用什么PDF。这是正确的吗?

最后,在EM上,我的理解是,在EM中,我们实际上并不知道-或需要知道我们数据的基础PDF。这是我的理解。

谢谢。


1
EM中的“ M”代表可能性的最大化。要写下可能性,我们需要pdf。EM是在某种意义上存在“不可观测”(在E步中填写)的情况下查找MLE的一种方法。也就是说,要使用EM,您需要一个明确的模型。
Glen_b-恢复莫妮卡

@Glen_b谢谢Gleb_b。因此,1)会是正确地说,在EM,在MLE中,我们总是假设一些数据的PDF的模式“?这意味着如果有人说‘我们用MLE / EM’,我们可以公平地问,”什么PDF文件没有你认为”这会是一个正确的评估2)最后,关于EM,我相信你指的是不可观察是特别的PDF组成的混合物,正确提前感谢的概率。?。
Creatron

请注意,存在非参数最大似然方法。查找Kaplan-Meier。
soakley 2013年

Creatron-on(1)请注意,EM是用于计算 MLE的算法否则将难以处理。在这两种情况下,我都会问一个更笼统的问题:“您的模型是什么?”,因为该模型比单个pdf更为复杂。开(2)EM算法不仅适用于混合物。比这更笼统。
Glen_b-恢复莫妮卡

Answers:


13

如果有人知道pdf 的基本功能形式(例如,它是高斯,对数正态,指数或其他形式),但不了解其基本参数,则可以使用MLE方法。例如,他们不知道pdf中的σ值:f x | μ σ = 1μσ 或任何PDF的其它类型的它们假设。MLE方法的工作是在给定特定数据测量值x1x2x3,...的情况下,为未知参数选择最佳(即最合理)值实际观察到的。因此,要回答第一个问题,是的,您始终有权询问某人他们为最大似然估计所采用的pdf格式。实际上,除非他们首先传达该上下文,否则它们告诉您的估计参数值甚至没有任何意义。

f(x|μ,σ)=12πσ2exp[(xμ)22σ2]
x1,x2,x3,...

f(x|A1,...,AN,μ1,...,μN,σ1,...σN)=k=1NAk2πσk2exp[(xμk)22σk2]
AkNx1,x2,x3,...

NN=1A1μ1σ1N=2A1A2μ1μ2σ1σ2A1μ1σ1N=1N=2

NN

N=1N=2N=3


Ak=1N

N

Ak=1NNN=4N=5
stachyra 2013年

谢谢stachyra。最后一个问题,输出数据混合的PDF(在您的第二个等式中,由PDF的加权和构成)与我们数据的所有样本的联合 PDF不同,这是它们的PDF的乘积,正确?(假设数据样本为IID)。
Creatron

不,一点也不-完全是两回事。您要描述的联合pdf听起来更类似于MLE中使用的似然函数的形式。此处的教科书可能对您有所帮助。对于MLE,我喜欢Philip R. Bevington和D. Keith Robinson所著的“物理科学中的数据减少和误差分析”的第10章,或Glen Cowan所著的“统计数据分析”的6.1节。对于如何做一个特定类型的EM实现的具体例子,我很喜欢这个解释,部分2到5
stachyra

2

MLE至少需要了解边际分布。当使用MLE时,我们通常通过进行iid假设来估计联合分布的参数,然后将联合分布作为边际乘积进行分解,这就是我们所知道的。有变化,但是在大多数情况下这是想法。因此,MLE是一种参数化方法。

EM算法是一种最大化似然函数的方法,作为MLE算法的一部分。通常(通常?)用于数值解。

每当我们使用MLE时,我们至少都需要边际分布,以及一些关于关节与边际之间的关系的假设(独立性等)。因此,这两种方法都依赖于分布的知识。


谢谢@Charles这很有意义。当人们谈论“非参数MLE”时,这意味着什么。乍一看,这个短语没有任何意义。MLE总是估计分布的参数,对吗?
Creatron

他们可能在谈论ELE(经验似然估计)。我没用过 如有必要,我会尝试解释。否则我不确定。
Charles Pehlivanian
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.