为什么Wilks 1938年的证明不适用于错误指定的模型？

在1938年著名的论文中（“ 用于检验复合假设的似然比的大样本分布 ”，《数学统计年鉴》 9：60-62），塞缪尔·威尔克斯推导了（对数似然比）的渐近分布。对于嵌套假设，在正确指定了较大假设的前提下。极限分布为（卡方），具有自由度，其中是较大假设中的参数数， $2 \times LLR$ $\chi^2$ $h-m$ $h$ $m$ 是嵌套假设中自由参数的数量。然而，众所周知，当假设被错误指定时（即，当较大的假设不是采样数据的真实分布时），该结果将不成立。

谁能解释为什么？在我看来，Wilks的证明应该仍然可以进行较小的修改。它依靠最大似然估计（MLE）的渐近正态性，但对于错误指定的模型仍然适用。唯一的不同是有限多元法线的协方差矩阵：对于正确指定的模型，我们可以使用反Fisher信息矩阵来近似协方差矩阵，而使用错误指定，可以使用协方差矩阵的三明治估计（）。正确指定模型后，后者简化为Fisher信息矩阵的逆矩阵（因为 $J^{-1}$ $J^{-1} K J^{-1}$ $J = K$ ）。在AFAICT中，只要我们具有MLE的多元正态的可逆渐近协方差矩阵（Wilks论文中的），Wilks证明并不关心协方差矩阵的估计值从哪里来。 $c^{-1}$

— 拉萨拉德
source

当较大的模型为true但子模型为false时，渐近分布不再

χ^{2}

$\chi^2$ （例如，在具有高斯误差的线性模型中，我们得到的是精确的非中心F分布，因此，渐近分布应类似于nc -

χ^{2}

$\chi^2$ 我在猜测）。那么，当大型模型和小型模型都错误时，为什么我们会期望它是

？从这里开始，零假设到底是什么？

χ^{2}

$\chi^2$

— 2014年

在正确指定的零假设中，两个模型均为“ true”，但是嵌套模型的

m

$m$ 参数固定为true值。在错误指定的原假设中，两个模型均为“假”，但嵌套模型的

m

$m$ 参数固定为伪真值。（“伪真实值”是使错误指定的模型与真实模型之间的Kullback-Liebler距离最小化的参数的渐近值）。因此，您与非中心F的示例无关紧要，因为这是此处的零假设为假时的分布。

— ratsalad 2014年

抱歉，我应该说嵌套假设的参数固定为真实值。

h - m

$h-m$

— ratsalad 2014年

据我了解，错误指定的null模型可能会在许多方面被错误指定。例如：残差分布错误，数据具有异方差，影响不加成等等。但是，我同意，如果将 “已测试”参数中的至少一个固定为假值（例如，伪真值），这是未正确指定空模型的一个示例。

h - m

$h - m$

— rcorty '16

Answers:

RV Foutz和RC Srivastava已详细研究了该问题。他们在1977年发表的论文“模型不正确时的似然比检验的性能”中包含了在错误指定情况下的分布结果的说明以及非常简短的证明，而他们在1978年发表的论文“ 当模型不正确时的似然比的渐近分布模型不正确”中包含证据-但后者使用老式的打字机打字（尽管两种论文都使用相同的符号，所以您可以在阅读时将它们组合起来）。同样，对于证明的某些步骤，他们引用了KP Roy于1957年发表的“似然比渐近分布的注解”一文，该论文似乎甚至在网上也没有提供。

在分布不正确的情况下，如果MLE仍然一致且渐近正常（并非总是这种情况），则LR统计量渐近遵循独立卡方的线性组合（每个自由度为一个）

- 2 \ln λ \overset{d}{\to} \sum_{i = 1}^{r} c_{i} χ_{i}^{2}

$-2\ln \lambda \xrightarrow{d} \sum_{i=1}^{r}c_i\mathcal \chi^2_i$

其中。可以看到“相似性”：我们拥有一个具有一个自由度的卡方，而不是一个具有自由度的卡方。但是“类比”到此为止，因为卡方的线性组合没有封闭形式的密度。每个缩放的卡方都是伽玛，但具有不同的参数，导致伽玛的缩放比例参数不同-尽管可以计算其伽玛值之和，但它们的和不是闭合形式。 $r=h-m$ $h-m$ $h-m$ $c_i$

对于常数，我们有，它们是矩阵的特征值...哪个矩阵？好了，使用作者的记号，将设置为对数似然的Hessian，将设置为对数似然的梯度的外部乘积（以期望值表示）。因此，是MLE的渐近方差-协方差矩阵。 $c_i$ $c_1 \geq c_2\geq ...c_r \geq0$ $\Lambda$ $C$ $V = \Lambda^{-1} C (\Lambda')^{-1}$

然后将设置为的上对角线块。 $M$ $r \times r$ $V$

还以块形式写 $\Lambda$

Λ = [\begin{matrix} Λ_{r \times r} & Λ_{2}^{'} \\ Λ_{2} & Λ_{3} \end{matrix}]

$\Lambda =\left [\begin {matrix} \Lambda_{r\times r} & \Lambda_2'\\ \Lambda_2 & \Lambda_3\\ \end{matrix}\right]$

并设置（是的Schur补数的负数）。 $W = -\Lambda_{r\times r}+\Lambda_2'\Lambda_3^{-1}\Lambda_2$ $W$ $\Lambda$

然后，是在参数的真实值下评估的矩阵的特征值。 $c_i$ $MW$

附录
在评论中回应OP的有效评论（有时，问题的确成为共享更普遍结果的跳板，在过程中可能会被自己忽略），这是Wilks的证明如何进行的：Wilks从联合开始MLE的正态分布，并继续推导似然比的函数表达式。直到并包括他的等式，即使我们假设我们存在分布不正确的情况，证明也可以向前发展：正如OP所指出的那样，在不正确情况下，方差协方差矩阵的项将有所不同，但是Wilks所做的只是取导数，并确定渐近可忽略的术语。因此他到达了等式。我们看到似然比统计， $[9]$ $[9]$ 如果规范正确，则是平方标准正态随机变量的总和，因此它们以自由度作为一个卡方分布：（通用符号） $h-m$ $h-m$

- 2 \ln λ = \sum_{i = 1}^{h - m} {(\sqrt{n} \frac{{\hat{θ}}_{i} - θ_{i}}{σ_{i}})}^{2} \overset{d}{\to} χ_{h - m}^{2}

$-2\ln \lambda = \sum_{i=1}^{h-m}\left(\sqrt n\frac{\hat \theta_i - \theta_i}{\sigma_i}\right)^2 \xrightarrow{d} \mathcal \chi^2_{h-m}$

但是，如果我们有错误的规定，则用于缩放居中和放大的MLE的术语不再是使每个元素的方差等于1的术语，并因此将每个项转换为标准范数rv，将总和转换为卡方。他们都没有，因为这些条款涉及到预期值的数似然的二阶导数的...但期望值只能采取相对于真正的分布，因为最大似然估计的数据和函数数据遵循真实分布，而对数似然的二阶导数是根据错误的密度假设计算的。 $\sqrt n(\hat \theta -\theta)$

因此，在错误指定的情况下，我们有我们能做的最好的就是将其操纵为

- 2 \ln λ = \sum_{i = 1}^{h - m} {(\sqrt{n} \frac{{\hat{θ}}_{i} - θ_{i}}{a_{i}})}^{2}

$-2\ln \lambda = \sum_{i=1}^{h-m}\left(\sqrt n\frac{\hat \theta_i - \theta_i}{a_i}\right)^2$

- 2 \ln λ = \sum_{一世 = 1个}^{H - 米} \frac{σ_{一世}^{2}}{{一种}_{一世}^{2}} {（ \sqrt{ñ} \frac{{\hat{θ}}_{一世} - θ_{一世}}{σ_{一世}} ）}^{2} = \sum_{一世 = 1个}^{H - 米} \frac{σ_{一世}^{2}}{{一种}_{一世}^{2}} χ_{1个}^{2}

$-2\ln \lambda = \sum_{i=1}^{h-m}\frac {\sigma_i^2}{a_i^2}\left(\sqrt n\frac{\hat \theta_i - \theta_i}{\sigma_i}\right)^2 = \sum_{i=1}^{h-m}\frac {\sigma_i^2}{a_i^2}\mathcal \chi^2_1$

它是缩放后的卡方rv的总和，不再以自由度为一个卡方rv分布。OP提供的参考资料确实是对这种更一般情况的清晰说明，其中包括Wilks的结果作为特殊情况。 $h-m$

— 阿莱科斯·帕帕多普洛斯
source

因此，这只是模型指定不正确时对标准结果的重述。此结果已多次得出并重新得出。我看到的最清晰，最有启发性的推论来自于Kent 1982年的“ 似然比测试的鲁棒性 ”（Biometrika 69:19）。但是，您没有回答我的问题。我的问题是关于威尔克斯1938年证明的，以及为什么它失败了。

— ratsalad 2014年

Wilks的1938年证明不起作用，因为Wilks 在其证明中使用作为渐近协方差矩阵。是负对数似然的Hessian的逆，而不是三明治估计量。威尔克斯在他的证明中将第个元素称为。通过假设 Wilks（1938），假设成立，即Fisher信息矩阵相等。如果正确指定了概率模型，则 $J^{-1}$ $J^{-1}$ $J^{-1} K J^{-1}$ $ij$ $J$ $c_{ij}$ $J^{-1}KJ^{-1} = J^{-1}$ $K=J$ $K=J$ 。因此，Wilks对假设的一种解释是，他假设更强有力的假设是正确指定了概率模型。

— RMG
source