局部似然,轮廓似然和边际似然之间有什么区别?


Answers:


57

似然函数通常取决于许多参数。根据应用程序的不同,我们通常只对这些参数的一部分感兴趣。例如,在线性回归中,兴趣通常在于斜率系数而不是误差方差。

将我们感兴趣的参数表示为β,将不重要的参数表示为θ。解决估计问题的标准方法是最大化似然函数,以便获得βθ估计。但是,由于主要的兴趣在于β局部,因此轮廓和边际可能性提供了另一种方法来估计β而无需估计θ

为了看到差异,用L(β,θ|data)表示标准似然。

最大似然

βθL(β,θ|data)

部分可能性

如果我们可以将似然函数写为:

L(β,θ|data)=L1(β|data)L2(θ|data)

L1(β|data)

个人资料可能性

θβθ

θ=g(β)

L(β,g(β)|data)

边际可能性

θθβ


2
请注意,这里的最后一个定义是综合(或贝叶斯)可能性,而不是边际可能性。
ars

对于部分可能性:“ L2(θ|θ)”在RHS中是否正确?
jpalecek

@ars,您能否编辑答案并提供边际可能性的定义?
Waldir Leoncio

13

当在完全指定的似然函数中处理令人讨厌的参数时,将使用这三个参数。

理论上,边缘可能性是消除扰动参数的主要方法。这是一个真实的似然函数(即,它与观测数据的(边际)概率成正比)。

通常,部分可能性不是真正的可能性。但是,在某些情况下,可以将其视为渐近推断的可能性。例如,在起源于Cox比例风险模型中,我们对数据中观察到的排名感兴趣(T1> T2> ..),而没有指定基线风险。埃夫隆(Efron)指出,对于各种危险函数,部分可能性几乎没有损失任何信息。

当我们具有多维似然函数和单个感兴趣的参数时,轮廓似然很方便。通过在每个固定T(感兴趣的参数)处用其MLE代替讨厌的S来指定它,即L(T)= L(T,S(T))。尽管以这种方式获得的MLE可能存在偏差,但在实践中这可以很好地发挥作用。边际可能性纠正了这种偏见。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.