为什么似然比检验分布卡方？

为什么似然比检验的检验统计量分布卡方？

$2(\ln \text{ L}_{\rm alt\ model} - \ln \text{ L}_{\rm null\ model} ) \sim \chi^{2}_{df_{\rm alt}-df_{\rm null}}$

distributions chi-squared likelihood-ratio

— Beeblebrox博士
source

这有帮助吗？

— Nick Sabbe

感谢您的参考。这是我的一封信

— Beeblebrox博士

注意那里的“带来幽默感”。我本来不打算粗鲁的，但是这个问题的答案将相对繁琐，并且基本上由该文章（或一些更好的统计学教科书）的内容组成。如果您在其中之一中说明您的确切问题，我将很乐意为您提供帮助。

— Nick Sabbe 2013年

直接链接到威尔克斯的原始论文，没有付费专区。

— ayorgo

Answers:

正如@Nick提到这是一个后果Wilks的定理。但请注意，测试统计量是渐近，而不是。 $\chi^2$ $\chi^2$

这个定理给我留下了深刻的印象，因为它在很宽的范围内适用。考虑一个似然度为的统计模型，其中是参数的分布中独立复制观测值的向量观测值，该分布属于子流形，维度为。令是尺寸为的子流形。假设您对测试有兴趣。 $l(\theta \mid y)$ $y$ $n$ $\theta$ $B_1$ $\mathbb{R}^d$ $\dim(B_1)=s$ $B_0 \subset B_1$ $\dim(B_0)=m$ $H_0\colon\{\theta \in B_0\}$

的似然比是定义偏差。然后，威尔克斯定理说，在通常的正则性假设下，当成立时，渐近以自由度分布。

l r (y) = \frac{sup_{θ \in B_{1}} l (θ ∣ y)}{sup_{θ \in B_{0}} l (θ ∣ y)} 。

$lr(y) = \frac{\sup_{\theta \in B_1}l(\theta \mid y)}{\sup_{\theta \in B_0}l(\theta \mid y)}.$

d (y) = 2 \log (l r (y))

$d(y)=2 \log \big(lr(y)\big)$

d (y)

$d(y)$

χ^{2}

$\chi^2$

s - m

$s-m$

H_{0}

$H_0$

事实证明在威尔克最初的论文由@Nick提及。我认为这篇文章不容易阅读。威尔克斯后来出版了一本书，也许最简单地介绍了他的定理。威廉姆斯的优秀著作中给出了简短的启发式证明。

— 斯特凡·洛朗（StéphaneLaurent）
source

令人遗憾的是，在专门针对塞缪尔·威尔克斯

— 斯特凡·洛朗

哦，来吧，斯蒂芬。这是维基百科，您可以对其进行编辑和改进！

— StasK 2013年

@StasK我知道，但我从未尝试过。我已经在统计和数学上度过了我的一生；）

— StéphaneLaurent 2013年

是否存在直觉，为什么偏差定义中2位于日志的前面？

— user56834 '18年

@ Programmer2134它是从二阶taylor扩展派生的。

— Frank Vel '18

我第二次对尼克·萨贝（Nick Sabbe）的严厉评论，我的简短回答是，不是。我的意思是，仅在正常线性模型中。对于绝对任何其他情况，确切的分布都不是。在许多情况下，您可以希望满足Wilks定理条件，然后渐近对数似然比检验统计量收敛到分布。威尔克斯定理条件的局限性和违反性太多，不容忽视。 $\chi^2$ $\chi^2$

该定理假设iid数据期望相关数据的问题，例如时间序列或不等概率调查样本（无论如何，其可能性定义不充分；“常规”检验，例如列联表中的独立性检验，开始表现为总和（Rao＆Scott）。对于iid数据，，总和变为。 -独立数据，现在不再如此。 $\Rightarrow$ $\chi^2$ $\sum_k a_k v_k, v_k \sim \mbox{i.i.d.} \chi^2_1$ $a_k=1$ $\chi^2$
该定理假设真实参数在参数空间内部。如果您有一个欧几里得空间可以使用，那不是问题。但是，在某些问题中，可能会出现自然限制，例如方差 0或-1与1之间的相关性。如果真实参数是边界，则渐近分布是不同程度的混合从测试的cdf等于此类cdf的总和的意义上讲（安德鲁斯2001，加上他在同一时期的另外两三篇论文，历史可以追溯到切尔诺夫1954）。 $\ge$ $\chi^2$
该定理假设所有相关导数都不为零。可能会遇到一些非线性问题和/或参数化，和/或在null下未标识参数的情况，这可能会受到挑战。假设您有一个高斯混合模型，并且您的null为一个分量与两个不同分量和混合分数。空值显然是在替代方案中嵌套的，但是可以用多种方式表示：当（在这种情况下未识别参数），（在这种情况下， $N(\mu_0,\sigma^2_0)$ $f N(\mu_1,\sigma_1^2) + (1-f) N(\mu_2,\sigma_2^2)$ $f$ $f=0$ $\mu_1,\sigma_1^2$ $f=1$ $\mu_2, \sigma_2^2$ （未标识）或（在这种情况下，未标识）。在这里，您甚至无法说出测试应该具有多少自由度，因为取决于嵌套参数化的方式，限制的数量不同。参见Chenjiahua Chen的著作，例如CJS 2001。 $\mu_1=\mu_2, \sigma_1=\sigma_2$ $f$
该可能工作确定，如果发行被正确指定。但是，如果不是，则测试将再次失败。在称为结构方程协方差建模的多元分析的子区域中（通常被统计学家所忽略），通常假设多元正态分布，但是即使结构正确，如果分布不同，则测试也会表现异常。Satorra和Bentler 1995显示，分布将变成，与我的观点1中使用非独立数据的情况相同，但是他们还证明了 s取决于模型的结构和分布的第四阶矩。 $\chi^2$ $\sum_k a_k v_k, v_k \sim \mbox{i.i.d.} \chi^2_1$ $a_k$
对于有限样本，在大类情况下，似然比是Bartlett可校正的：而对于大小为的样本，并且是分布的分布函数，对于正则似然问题，您可以找到一个常数，使得，即准确性。因此，可以改善有限样本的逼近度（如果知道如何可以说应该提高）。常数 ${\rm Prob}[d(y) \le x]=F(x;\chi^2_d)[1+O(n^{-1})]$ $n$ $F(x;\chi^2_d)$ $\chi^2_d$ $b$ ${\rm Prob}[d(y)/(1+b/n) \le x]=F(x;\chi^2_d)[1+O(n^{-2})]$ $\chi^2$ $b$ 取决于模型的结构，有时还取决于辅助参数，但是如果可以始终如一地进行估算，那么这对改善覆盖范围也很有用。

有关这些和类似的神秘问题的可能性推断的综述，请参见Smith 1989。

— 斯塔克
source

谢谢！很有启发性。“仅在正常线性模型中”是什么意思？对于Fisher检验，当和是线性子空间时，偏差是Fisher统计量的单调函数，并且仅渐近。

B_{0}

$B_0$

B_{1}

$B_1$

χ^{2}

$\chi^2$

— 斯蒂芬·洛朗

在已知方差的情况下，我应该补充。

— StasK 2013年