假设检验和总变异距离与Kullback-Leibler散度的关系

在我的研究中，我遇到了以下一般性问题：在同一个域中有两个分布和，以及来自这些分布的大量（但有限）样本。样本是从这两个分布之一独立且相同地分布的（尽管分布可能是相关的：例如，可能是和其他分布的混合。）零假设是样本来自，替代假设是样本来自。 $P$ $Q$ $Q$ $P$ $P$ $Q$

我试图表征I型和测试样品，了解发行第二类错误和。特别是，除了对和的了解之外，我还对限制一个错误和另一个错误感兴趣。 $P$ $Q$ $P$ $Q$

我问了一个关于math.SE 的问题，关于和之间的总变异距离与假设检验的关系，并收到了我接受的答案。这个答案是有道理的，但是我仍然无法将总变化距离和假设检验之间更深层的含义笼罩在脑海中，因为这与我的问题有关。因此，我决定转向这个论坛。 $P$ $Q$

我的第一个问题是：总变化是否与 I类错误和II类错误的概率之和无关，而与所采用的假设检验方法无关？本质上，只要存在可能由任一分布生成样本的非零概率，至少一个错误的概率就必须为非零。基本上，无论您进行多少信号处理，您都无法避免假设检验器会出错的可能性。而总变化限制了确切的可能性。我的理解正确吗？

I型和II型错误与潜在的概率分布和之间还有另一关系：KL散度。因此，我的第二个问题是：KL散度约束是否仅适用于一种特定的假设检验方法（似乎很多涉及对数似然比方法），还是可以将其普遍适用于所有假设检验方法？如果它适用于所有假设检验方法，那么为什么它似乎与总变异范围有很大不同？它的行为是否有所不同？ $P$ $Q$

我的基本问题是：在规定的条件下我应该使用约束还是纯粹为了方便起见？什么时候应该使用一个绑定推导结果并使用另一个绑定？

如果这些问题无关紧要，我深表歉意。我是计算机科学家（所以对我来说，这似乎是一个奇特的模式匹配问题：）。）我对信息论非常了解，并且也具有概率论的毕业背景。但是，我才刚刚开始学习所有这些假设检验的知识。如果需要，我将尽力澄清我的问题。

— MBM
source

Answers:

文学：您所需的大多数答案肯定都在雷曼和罗曼诺的书中。Ingster和Suslina撰写的这本书处理了更高级的主题，并可能为您提供其他答案。

答：但是，事情非常简单：（或）是要使用的“真实”距离。对于形式计算（尤其是乘积测量，即当您拥有大小为 iid样本）进行正式计算时，这样做不方便，并且可以使用其他距离（即上限）。让我给你详细。 $L_1$ $TV$ $n$ $L_1$

发展：让我们用

$g_1(\alpha_0,P_1,P_0)$ 最小II型误差与I类错误为和 null和替代。 $\leq\alpha_0$ $P_0$ $P_1$
$g_2(t,P_1,P_0)$ 最小可能的型I + II型错误的总和，其中和为null和替代项。 $t$ $(1-t)$ $P_0$ $P_1$

这些是您需要分析的最小错误。等式（不是下限）由下面的定理1给出（根据距离（如果是电视距离，则为电视距离））。定理2给出了距离与其他距离之间的不等式（注意，要使误差下限，需要或上限）。 $L_1$ $L_1$ $L_1$ $TV$

那么使用哪个绑定是一个方便的问题，因为通常比Hellinger或Kullback或更难计算。当和是乘积度量时出现这种差异的主要示例，当您要用大小为 iid的样本测试对时会出现这种情况。在这种情况下可以很容易地从（与和相同中获得和其他参数但是您不能使用来做到这一点... $L_1$ $\chi^2$ $P_1$ $P_0$ $P_i=p_i^{\otimes n}$ $i=0,1$ $p_1$ $p_0$ $n$ $h(P_1,P_0)$ $h(p_1,p_0)$ $KL$ $\chi^2$ $L_1$

定义：两个度量和之间的亲和力定义为。 $A_1(\nu_1,\nu_0)$ $\nu_1$ $\nu_2$

A_{1} (ν_{1}, ν_{0}) = \int min (d ν_{1}, d ν_{0})

$A_1(\nu_1,\nu_0)=\int \min(d\nu_1,d\nu_0)$

定理1如果（电视电视节目的一半），然后 $|\nu_1-\nu_0|_1=\int|d\nu_1-d\nu_0|$

$2A_1(\nu_1,\nu_0)=\int (\nu_1+\nu_0)-|\nu_1-\nu_0|_1$ 。
$g_1(\alpha_0,P_1,P_0)=\sup_{t\in [0,1/\alpha_0]} \left ( A_1(P_1,tP_0)-t\alpha_0 \right )$
$g_2(t,P_1,P_0)=A_1(t P_0,(1-t)P_1)$

我在这里写了证明。

定理2对于和概率分布： $P_1$ $P_0$

\frac{1}{2} | P_{1} - P_{0} |_{1} \leq h (P_{1}, P_{0}) \leq \sqrt{K (P_{1}, P_{0})} \leq \sqrt{χ^{2} (P_{1}, P_{0})}

$\frac{1}{2}|P_1-P_0|_1\leq h(P_1,P_0)\leq \sqrt{K(P_1,P_0)} \leq \sqrt{\chi^2(P_1,P_0)}$

这些界限是由几个著名的统计学家（LeCam，Pinsker等）引起的。是Hellinger距离， KL散度和卡方散度。它们都在这里定义。并给出了这些边界的证明（进一步的内容可以在Tsybacov的书中找到）。还有一些东西几乎是Hellinger 对的下限... $h$ $K$ $\chi^2$ $L_1$

— 罗宾吉拉德
source

谢谢您的回答，我现在正在尝试消化它。在我的问题中，我允许类型I错误。我也有两个分布和。我知道他们之间（还有吉隆坡）之间的电视。因此，您要说的是，与KL相比，电视在II型错误上的下限更严格，这意味着如果我希望尽可能降低下限，我应该使用电视进行分析？

P_{0}

$P_0$

P_{1}

$P_1$

— MBM

还要感谢您对莱曼和罗曼诺（Lehmann and Romano）的建议，它看起来非常有帮助，而且对我而言并不过分。另外，我的图书馆拥有一个副本！:)

— MBM

@Bullmoose定理1在这里说的是TV（或L1）与相等，而与g_2或g_1相等（受控类型I的最小错误或II类错误的总和）有关。这里没有不平等。当您需要从L1到Kullback时，会出现不平等现象。

A_{1}

$A_1$

— 罗宾吉拉德

不幸的是，我在测度理论方面只有很少的背景。我想我有点理解和是什么，但是我对不清楚。假设我有两个高斯分布。它们之间的电视（或L1）为但是是什么？根据定义，它看起来像 ...

g_{1}

$g_1$

g_{2}

$g_2$

A_{1}

$A_1$

\int_{- \infty}^{\infty} \frac{1}{\sqrt{2 π}} | \frac{\exp (- x^{2} / 2 σ_{1}^{2})}{σ_{1}} - \frac{\exp (- x^{2} / 2 σ_{2}^{2})}{σ_{2}} | d x

$\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi}}\left|\frac{\exp(-x^2/2\sigma^2_1)}{\sigma_1}-\frac{\exp(-x^2/2\sigma^2_2)}{\sigma_2}\right|dx$

A_{1}

$A_1$

\int_{- \infty}^{\infty} \frac{1}{\sqrt{2 π}} min (\frac{\exp (- x^{2} / 2 σ_{1}^{2})}{σ_{1}}, \frac{\exp (- x^{2} / 2 σ_{2}^{2})}{σ_{2}}) d x

$\int_{-\infty}^{\infty}\frac{1}{\sqrt{2\pi}}\min\left(\frac{\exp(-x^2/2\sigma^2_1)}{\sigma_1},\frac{\exp(-x^2/2\sigma^2_2)}{\sigma_2}\right)dx$

— MBM

...但是如何从定理中的第一个项目符号映射到此？

\int (ν_{1} + ν_{2})

$\int (\nu_1+\nu_2)$

— MBM

回答第一个问题：是的，减去总变化距离是I类错误率+ II类错误率之和的下限。无论您选择哪种假设测试算法，此下限均适用。

理由：您在Math.SE上获得的答案提供了这一事实的标准证明。修复假设检验。令表示该检验将拒绝原假设的结果集（此类集必须始终存在）。然后，Math.SE答案中的计算证明了下限。 $A$

（严格来说，这条推理假设您的假设检验是确定性过程。但是，即使您考虑随机过程，也有可能表明相同的界限仍然适用。）

— DW
source