拟最大似然估计（QMLE）背后的想法和直觉

17

问题：拟最大似然估计（QMLE；又称伪最大似然估计，PMLE）背后的思想和直觉是什么？当实际误差分布与假定误差分布不匹配时，使估算器工作的原因是什么？

QMLE 的Wikipedia站点很好（简要，直观），但是我可以使用更多的直觉和细节，也许还可以作为例证。其他参考文献也很受欢迎。（我记得翻阅了很多计量经济学教科书，以寻找有关QMLE的资料，而令我惊讶的是，QMLE仅涵盖其中一到两个，例如Wooldridge “横截面和面板数据的计量经济学分析”（2010年），第13章第11节，第502-517页。）

— 理查德·哈迪
source

2

你读过怀特的论文吗？

— hejseb 2015年

2

@hejseb，也许不是，至少我不太记得它。是这个吗？

— 理查德·哈迪

1

是的，就是那个。当然，他以Huber（1967）为基础，并充分认识到这一点。但是，以下计量经济学几乎没有做到。而且，在所有技术方面，胡贝尔的论文在技术层面上几乎是不可读的。哈尔·怀特（Hal White）无疑是对这一问题的更轻松的理解。

— StasK

7

“当实际误差分布与假定误差分布不匹配时，使估算器工作的原因是什么？”

原则上，QMPLE确实不是 “工作”，在被一个“好”的估计量感。围绕QMLE开发的理论是有用的，因为它导致了错误指定测试。

QMLE当然要做的是一致地估计参数向量，该向量使真实分布与指定分布之间的Kullback-Leiber发散最小。听起来不错，但是最小化该距离并不意味着最小化的距离不会很大。

尽管如此，我们仍了解到，在许多情况下，QMLE是对真实情况的一致估计参数向量量。这必须根据具体情况进行评估，但是让我给出一个非常一般的情况，它表明QMLE中没有固有的东西可以使它与真实向量保持一致...

...相反，事实是它与另一个始终一致的估计量一致（保持人体工程学平稳的样本假设）的：老式的矩量估计器。

换句话说，当在分配疑问，要考虑的策略是“始终指定分布，其与矩估计法利益一致的参数的最大似然估计”：在这种方式无论多么没谱是您的分布假设，估算器至少会保持一致。

您可以将这种策略带到荒谬的极端：假设您有一个来自随机变量的非常大的iid样本，其中所有值都是正值。继续，假设随机变量是正态分布的，并且对均值和方差应用最大似然：您的QMLE对于真实值将保持一致。

当然，这引出了一个问题，为什么假装应用MLE，因为我们本质上所做的就是依靠并隐藏了矩法（也保证渐近正态性）的优势？

在其他更精细的情况下，如果我们可以说我们已经正确指定了条件均值函数但未指定分布，则QMLE对于所关注的参数可能是一致的（例如Pooled Poisson QMLE的情况-参见Wooldridge）。

— 阿莱科斯·帕帕多普洛斯
source

这是有趣的。您能为这种理论提供一些参考吗？

— kjetil b halvorsen

1

@kjetilbhalvorsen这不是一个发达的理论框架，因为它以明显的方式综合了一些非常基本的结果。当我因错误指定的后果而遭受折磨时，我的脑海中浮现出了综合现象。我相信，它也有一个“政治”方面，没有在研究论文中大声疾呼：我们不想推翻国王MLE，现在，我们呢？

— Alecos Papadopoulos

8

0 = \sum_{i = 1}^{n} S (β, X_{i}, Y_{i}) = D^{T} W (Y - g^{- 1} (X^{T} β))

$0 = \sum_{i=1}^n \mathbf{S}(\beta, X_i, Y_i) = \mathbf{D}^{T} W \left( Y - g^{-1} (\mathbf{X}^T \beta)\right)$

D = \frac{\partial}{\partial β} g^{- 1} (X^{T} β)

$\mathbf{D} = \frac{\partial}{\partial \beta} g^{-1} ( \mathbf{X}^T \beta)$

W = V^{- 1}

$W = \mathbf{V}^{-1}$

但是，有趣的是，这种表述是一种矩量法类型的估计器，在该方法中，人们可以简单地在括号表达式的RHS中“设置他们想要估计的东西”，并相信该表达式将收敛到“那个有趣的”。事情”。这是估计方程式的原始形式。

估计方程式不是什么新概念。实际上，最早可以追溯到1870年代和1900年代初的尝试使用泰勒展开法从EE正确推导EE定理，但是缺乏与概率模型的联系是引起严格评论者争论的原因。

$S$

但是，与上述答案相反，准似然已被广泛使用。McCullogh和Nelder的一个很好的讨论是关于population的种群建模。与人类不同，它们的交配习惯简直是奇怪的：许多雄性可能会在无法测量的“群”中蜂拥而至。从生态学家的角度来看，实际上观察这些聚类远远超出了它们的工作范围，但是，从捕获和释放中得出种群数量的预测仍然是一个巨大的挑战。事实证明，这种交配模式导致泊松模型具有明显的欠分散，也就是说，方差是成比例的，但不等于均值。

从我们通常不基于它们的值推断的意义上来说，色散被认为是令人讨厌的参数，并且以单个可能性共同估计它们会导致高度不规则的可能性。拟似然性是统计学中非常有用的领域，尤其是考虑到以后关于广义估计方程的工作。

— 亚当
source

1

（+1）非常有用的答案。

— Alecos Papadopoulos

2

我有一个与Richard Hardy在这里发布的原始问题类似的问题。我的困惑是从准ML估计的参数可能不存在于未知的“真实”分布中。在这种情况下，“一致性”到底是什么意思？估计参数收敛到什么？

在检查了一些参考文献之后（怀特（1982）应该是原始文章之一，但是受到了限制。我发现一个有用的论述是http://homepage.ntu.edu.tw/~ckuan/pdf/et01/ch9.pdf），用简单的英语来说，我的想法如下：在承认我们假定的分布只是未知的真实分布的近似值之后，我们可以做的实际事情是找到参数值以最小化它们的距离（ Kullback-Leibler距离）准确地说）。该理论的优点在于，无需知道真实分布，准ML的估计参数就收敛到该距离最小化参数（当然，该理论还提供了其他有用的结果，例如估计值的渐近分布）。参数等，但这不是我的问题的重点）。

就像Alecos Papadopolous在上面的答复中提到的那样，最小化的距离可能仍然很大。因此，我们假设的分布可能与真实分布的近似值很差。准ML可以做的就是使我们的假定分布尽可能接近未知的真实分布。希望我在这里分享的经验可能对其他有类似困惑的人有所帮助。

— 坦率
source