我 从Mood，Graybill和Boes 撰写的《统计理论概论》一书中 阅读了Neyman–Pearson引理。但是我还不了解引理。

谁能用简单的话向我解释这个引理？它说明了什么？

Neyman-Pearson Lemma：令是的随机样本，其中是两个已知值和，并且固定。$X_1,\ldots,X_n$$f(x;\theta)$$\theta$$\theta_0$$\theta_1$$0<\alpha<1$

让 $k^*$是正的常数和$C^*$是的一个子集$\mathscr X$满足：

$$\tag 1 P_{\theta_0}[(X_1,\ldots,X_n)\in C^*] = \alpha$$ $$\tag 2 \lambda=\frac{L(\theta_0;x_1,\ldots,x_n)}{L(\theta_1;x_1,\ldots,x_n)} = \frac{L_0}{L_1} \le k^*\quad \text{if } (x_1,\ldots,x_n)\in C^*$$ $$\text{and}\quad \lambda\ge\quad k^* \text{ if } (x_1,\ldots,x_n)\in \bar C^*$$ 然后将试验$\gamma^*$对应于临界区域$C^*$是一个最有力的尺寸的测试$\alpha$的$\mathscr H_0:\theta=\theta_0$与$\mathscr H_1:\theta=\theta_1$

用言语表达，我了解到这两个标准

（1）P [拒绝零假设| 原假设为真] =显着性水平

（2）拒绝零假设当似然比，$\lambda\le$一些正的常数$k^*$如果$(x_1,\ldots,x_n)$落在临界区域

然后，考验的是最强大的测试一的简单的假设。

• 为什么只针对简单的假设呢？难道不是针对复合假设吗？我的文字解释正确吗？

我认为您很了解引理。

为什么对于复合替代品不起作用？正如您在似然比中看到的那样，我们需要为替代假设插入参数。如果替代方法是Composite，那么您要插入哪个参数？

我最近在一个Linkedin博客上写了一篇文章，用通俗易懂的文字说明了Neyman Pearson引理，并提供了一个例子。我发现示例眼睁开的意义在于对引理有清晰的直觉。通常，它基于离散的概率质量函数，因此比使用pdf时容易理解。另外，考虑到我将似然比定义为替代假设与原假设的可能性，这与您的引理陈述相反。解释是相同的，但不是小于现在大于。希望对您有帮助...

那些从事数据分析工作并参加过一些统计学课程的人可能已经知道Neyman-Pearson引理（NP-lemma）。信息很简单，演示并不多，但我总是感到困难的是对它的含义有一个常识性的感觉。读了PIGood和JWHardin撰写的一本名为《统计中的常见错误》的书，我得到了一个解释和例子，这使我对我一直想念的NP引理有了直觉。

内曼·皮尔森（Neyman-Pearson）用并非100％的数学上完美的语言告诉我们，在一定的显着性水平内，可以用来验证给定假设的最强大的测试是由来自该测试的所有可能观察结果得出的拒绝区域给出的。高于某个阈值的似然比...哇！谁说的很简单！

保持冷静并解构引理：

1. 假说。在统计学中，一个总是与两个假设有关，即统计检验应该拒绝还是不拒绝。存在零假设，直到有足够的样本证据证明该假设为止。还有另一种假设，如果空值似乎是假的，我们将采取另一种假设。
2. 检验的功效（又称敏感性）告诉我们，错误的假设是正确拒绝无效假设的时间比例。我们需要强大的测试，因此大多数时候我们都拒绝原假设，这是对的！
3. 检验的显着性水平（即假阳性率）告诉我们，在虚假假设为真时，我们会错误地拒绝否定假设的时间比例。我们想要一个小的显着性水平，因此大多数时候我们都拒绝原假设，这是正确的！
4. 拒绝区域，考虑到测试的所有可能结果，拒绝区域包括那些使我们拒绝替代假设的无效假设的结果。
5. 给定原假设（原假设的可能性）或替代假设（原假设的可能性）为真，可能性是看到测试结果的可能性。
6. 似然比，是替代假设可能性除以原假设可能性的比率。如果零假设是真实的，而对替代假设是非常正确的，那么测试结果的期望值很高，则似然比应该很小。

足够的定义！（尽管仔细看一下它们，您会发现它们非常有见识！）。我们来看看Neyman和Pearson告诉我们的内容：如果您想从其功效的角度进行最好的统计检验，只需通过包括那些具有最高似然比的检验结果来定义拒绝区域，然后继续添加更多检验结果，直到达到一定值为止，即您的测试在原假设为真（重要性水平）时将拒绝原假设的次数。

让我们看一个例子，希望所有东西都可以融合在一起。该示例基于上述书籍。它完全由我自己构成，因此不应被视为反映任何现实或个人观点。

想像一下，想问问自己对欧盟的感受，就可以确定某人是否赞成设定移民配额（零假设）（替代假设）。

想象一下，关于问题的答案，我们知道两种人的实际概率分布：

假设我们愿意接受30％的误报率，也就是说，在30％的时间里，我们将拒绝原假设，并假设受访者确实反对配额，这是错误的。我们将如何构建测试？

根据Neyman和Pearson的说法，我们首先采用似然比最高的结果。这是“真的像欧盟”的答案，比率为3。因此，如果我们假设有人说他“真的喜欢欧盟”，那么我们违反了配额，那么我们将有10％的时间被分配配额人的反对（意义）。但是，我们只能在30％的时间（权力）中正确地对配额人进行分类，因为该组中的每个人对欧盟的看法都不相同。

就电源而言，这似乎是一个糟糕的结果。但是，在对配额人员进行错误分类时（重要性），该测试不会犯很多错误。因为我们在重要性方面更加灵活，所以让我们寻找下一个测试结果，该测试结果应该添加到拒绝无效假设（拒绝区域）的答案包中。

具有最高似然比的下一个答案是“像欧盟”。如果我们使用“非常喜欢”和“喜欢”欧盟的答案作为测试结果，使我们能够拒绝某人配额的零假设，那么我们将配额人错误地分类的可能性不是30％（10％ （真正喜欢）和20％（喜欢），我们会正确地根据配额来对人们进行分类（65％的时间）（30％来自“真正喜欢”，35％来自“喜欢”）。用统计术语来说：我们的显着性从10％增加到30％（不好！），而我们的测试功效从30％增加到65％（好！）。

所有统计测试都存在这种情况。即使在统计中也没有免费午餐之类的东西！如果要增加测试的功能，则需要以提高重要性水平为代价。或更简单地说：您希望更好地对好人进行分类，但这样做的代价是让更多的坏人看起来好！

基本上，现在我们完成了！我们使用给定的数据和“喜欢”标签来确定某人是否违反配额，从而使用给定的数据和30％的显着性水平创建了功能最强大的测试……确定吗？

如果在选择了“非常喜欢”的答案之后，如果我们包含在第二步中，答案是“无所谓”而不是“喜欢”，将会发生什么？该测试的重要性与之前的30％相同：配额人员回答“非常”喜欢的占10％，配额人员回答“不喜欢”的占20％。两种测试都难以对配额个人进行错误分类。但是，功率会变差！使用新测试，我们将拥有50％的功效，而不是之前的65％：“真正喜欢”的30％和“冷漠”的20％。有了新的测试，我们在识别配额个人方面将变得不那么精确！

谁在这里帮忙？Neyman-Person似然比非凡​​的主意！每次采用最高似然比的答案，可以确保我们在保持新的测验尽可能大的功率（大分子）的同时，将重要性保持在受控范围内（小分母）！

上下文

（在本节中，我将以我自己的方式来解释假设检验，键入一个和两个错误等。如果您对此材料感到满意，请跳到下一节）

内曼-皮尔逊引理涉及简单假设检验的问题。在公共空间$\Omega$上，我们有两种不同的概率分布：$P_0$和$P_1$，分别称为原假设和替代假设。基于单个观察$\omega\in\Omega$，我们必须拿出一个猜测这两个概率分布的生效。甲测试因此是到每个函数$\omega$分配不是“零假设”或“替代假设”的猜测。显然，可以将测试标识为返回“替代”的区域，因此我们只在寻找概率空间的子集（事件）。

通常，在应用程序中，原假设与某种现状相对应，而替代假设则是您试图证明或反证的某些新现象是真实的。例如，您可能正在测试某人的心理能力。您对带有弯曲线或不弯曲线的卡运行标准测试，并让它们猜测一定次数。零假设是他们只会获得五分之一的权利（因为有五张牌），另一种假设是他们是通灵的，并且可能会获得更多权利。

我们要做的是最大程度地减少犯错的可能性。不幸的是，这是一个毫无意义的概念。您可以通过两种方式犯错。零假设为真，然后在测试的“替代”区域中对$\omega$进行采样，或者替代假设为真，并且对“零”区域进行采样。现在，如果您固定概率空间的区域$A$（测试），则数字$P_0(A)$和$P_1(A^{c})$，产生这两种错误的概率是完全定义清楚的，但是由于您没有“原假设/替代假设为真的概率”的先验概念，因此您无法获得有意义的“两种概率的概率”错误”。因此，在数学中这是一个相当典型的情况，我们需要某种对象的“最佳”，但是当您仔细观察时，就没有“最佳”。实际上，我们试图做的是最小化$P_0(A)$而最大化$P_1(A)$，这显然是相反的目标。

牢记心理能力测试的示例，我喜欢提到错误的类型，其中null为真，但是您将替代品的结论归类为“ 妄想 ”（您相信那个人的心理，但他不是），并且作为“ 遗忘 ”的其他错误 ”。

引理

Neyman-Pearson引理的方法如下：让我们选择一些我们愿意容忍的最大妄想概率$\alpha$，然后找到在满足该上限的情况下遗忘概率最小的测试。结果是，此类检验始终采用似然比检验的形式：

主张（Neyman-Pearson引理）

$L_0, L_1$$\alpha > 0$$A\subseteq \Omega$$P_1(A)$$P_0(A)\leq \alpha$

$$A=\{\omega\in \Omega \mid \frac{L_1(\omega)}{L_0(\omega)} \geq K \}$$

for some constant $K>0$. Conversely, for any $K$, the above test has $P_1(A)\geq P_1(B)$ for any $B$ such that $P_0(B)\leq P_0(A)$.

Thus, all we have to do is find the constant $K$ such that $P_0(A)=\alpha$.

The proof on Wikipedia at time of writing is a pretty typically oracular mathematical proof that just consists in conjecturing that form and then verifying that it is indeed optimal. Of course the real mystery is where did this idea of taking a ratio of the likelihoods even came from, and the answer is: the likelihood ratio is simply the density of $P_1$ with respect to $P_0$.

If you've learned probability via the modern approach with Lebesgue integrals and what not, then you know that under fairly unrestrictive conditions, it's always possible to express one probability measure as being given by a density function with respect to another. In the conditions of the Neyman-Pearson lemma, we have two probability measures $P_0$, $P_1$ which both have densities with respect to some underlying measure, usually the counting measure on a discrete space, or the Lebesgue measure on $\mathbb R^n$. It turns out that since the quantity that we're interested in controlling is $P_0(A)$, we should be taking $P_0$ as our underlying measure, and viewing $P_1$ in terms of how it relates to $P_0$, thus, we consider $P_1$ to be given by a density function with respect to $P_0$.

Buying land

The heart of the lemma is therefore the following:

Let $\mu$ be a measure on some space $\Omega$, and let $f$ be a positive, integrable function on $\Omega$. Let $\alpha > 0$. Then the set $A$ with $\mu(A)\leq\alpha$ which maximizes $\int_A fd\mu$ is of the form

$$\{\omega\in\Omega\mid f(\omega)\geq K\}$$ for some constant $K>0$, and conversely, any such set maximizes $\int f$ over all sets $B$ smaller than itself in measure.

Suppose you're buying land. You can only afford $\alpha$ acres, but there's a utility function $f$ over the land, quantifying, say, potential for growing crops, and so you want a region maximizing $\int f$. Then the above proposition says that your best bet is to basically order the land from most useful to least useful, and buy it up in order of best to worst until you reach the maximum area $\alpha$. In hypothesis testing, $\mu$ is $P_0$, and $f$ is the density of $P_1$ with respect to $P_0$ (which, as already stated, is $L_1/L_0$).

Here's a quick heuristic proof: out of a given region of land $A$, consider some small one meter by one meter square tile, $B$. If you can find another tile $B'$ of the same area somewhere outside of $A$, but such that the utility of $B'$ is greater than that of $B$, then clearly $A$ is not optimal, since it could be improved by swapping $B$ for $B'$. Thus an optimal region must be "closed upwards", meaning if $x\in A$ and $f(y)>f(x)$, then $y$ must be in $A$, otherwise we could do better by swapping $x$ and $y$. This is equivalent to saying that $A$ is simply $f^{-1}([K, +\infty))$ for some $K$.