反向切尔诺夫界

是否存在切尔诺夫逆边界，该边界会限制尾部概率至少如此之大。

例如，如果是独立的二项式随机变量，并且。然后我们可以证明对于某些函数。$X_1,X_2,\ldots,X_n$$\mu=\mathbb{E}[\sum_{i=1}^n X_i]$$Pr[\sum_{i=1}^n X_i\geq (1+\delta)\mu]\geq f(\mu,\delta,n)$$f$

这是一个明确的证明，对于特定范围的参数，标准的Chernoff边界严格到指数的常数因子。（尤其是，只要变量是0或1，概率为1/2或小于1且$\epsilon\in(0,1/2)$，并且Chernoff上限小于一个常数。）

如果发现错误，请告诉我。

引理1。（切尔诺夫界的紧度） 设$X$为$k$独立的，0/1个随机变量（rv）的平均值。对于任何$\epsilon\in(0,1/2]$和$p\in(0,1/2]$，假设$\epsilon^2 p k \ge 3$，

（ⅰ） 如果每个rv为1的概率为至多$p$，然后

$$\displaystyle \Pr[X\le (1-\epsilon)p] ~\ge~ \exp\big({-9\epsilon^2 pk}\big).$$

（ii） 如果每个rv为1且概率至少为$p$，则

$$\displaystyle \Pr[X\ge (1+\epsilon)p] ~\ge~ \exp\big({-9\epsilon^2 pk}\big).$$

证明。 我们使用以下观察：

声明1.如果，则 $1\le \ell \le k-1$$\displaystyle {k \choose \ell} ~\ge~ \frac{1}{e\sqrt{2\pi\ell}} \Big(\frac{k}{\ell}\Big)^{\ell} \Big(\frac{k}{k-\ell}\Big)^{k-\ell}$

权利要求证明1. 通过斯特林近似， 其中$i!=\sqrt{2\pi i}(i/e)^ie^\lambda$$\lambda\in[1/(12i+1),1/12i].$

因此，，即 ，至少为 优质教育$k\choose \ell$$\frac{k!}{\ell! (k-\ell)!}$

$$\frac{\sqrt{2\pi k}\,(\frac{k}{e})^k} { \sqrt{2\pi \ell}\,(\frac{\ell}{e})^\ell ~~\sqrt{2\pi (k-\ell)}\,(\frac{k-\ell}{e})^{k-\ell} } \exp\Big(\frac{1}{12k+1} - \frac{1}{12\ell} - \frac{1}{12(k-\ell)}\Big)$$ $$~\ge~ \frac{1}{\sqrt{2\pi\ell}} \Big(\frac{k}{\ell}\Big)^{\ell} \Big(\frac{k}{k-\ell}\Big)^{k-\ell}e^{-1}.$$

引理1的证明（i）。 不失一般性假设在每个总和0/1随机变量 为1的概率为恰好。注意等于总和，并且。$X$ $p$$\Pr[X\le (1-\epsilon)p]$$\sum_{i = 0}^{\lfloor(1-\epsilon)pk\rfloor} \Pr[X=i/k]$$\Pr[X=i/k] = {k \choose i} p^i (1-p)^{k-i}$

修复。总和中的项不断增加，因此索引为 值至少为，因此它们的总和的值至少为 。为了完成证明，我们证明 $\ell = \lfloor(1-2\epsilon)pk\rfloor+1$$i\ge\ell$$\Pr[X=\ell/k]$$(\epsilon pk - 2) \Pr[X=\ell/k]$

$$(\epsilon pk - 2) \Pr[X=\ell/k] ~\ge~ \exp({-9\epsilon^2 pk}).$$

假设和 给出，因此上方的左侧至少为。使用权利要求1来绑定，这至少是 ，其中 而 $\epsilon^2pk\ge 3$$\epsilon\le 1/2$$\epsilon pk \ge 6$$\frac{2}{3}\epsilon pk\, {k \choose \ell} p^\ell(1-p)^{k-\ell}$$k\choose \ell$$A\, B$$A = \frac{2}{3e}\epsilon p k/ \sqrt{2\pi \ell}$$B= \big(\frac{k}{\ell}\big)^\ell \big(\frac{k}{k-\ell}\big)^{k-\ell} p^\ell (1-p)^{k-\ell}.$

最后，我们显示和。$A\ge \exp(-\epsilon^2pk)$$B \ge \exp(-8\epsilon^2 pk)$

索赔2. $A \ge \exp({-\epsilon^2 pk})$

权利要求2 的证明。假设和 （i）。$\epsilon^2 pk \ge 3$$\epsilon\le 1/2$$pk\ge 12$

根据定义，。通过（i），。因此，（ii）。$\ell \le pk + 1$$p k \ge 12$$\ell \,\le\, 1.1 pk$

代的（ⅱ）的右手侧为在给出（ⅲ）。$\ell$$A$$A \ge \frac{2}{3e} \epsilon \sqrt{p k / 2.2\pi}$

假设，意味着，其中（iii）给出（iv）。$\epsilon^2 pk \ge 3$$\epsilon\sqrt{ pk} \ge \sqrt 3$$A \ge \frac{2}{3e}\sqrt{3/2.2\pi} \ge 0.1$

从得出（v）。$\epsilon^2pk \ge 3$$\exp(-\epsilon^2pk) \le \exp(-3) \le 0.04$

（iv）和（v）一起提出索赔。优质教育

声明3. 。$B\ge \exp({-8\epsilon^2 pk})$

权利要求的证明3. 固定，使。 的选择意味着，因此该声明将一直存在，只要。将后一个不等式的两边取幂并简化，它等效于 替换并简化，它等效于 $\delta$$\ell=(1-\delta)pk$
$\ell$$\delta\le 2\epsilon$$B \ge \exp(-2\delta^2pk)$$-1/\ell$

$$\frac{\ell}{p k} \Big(\frac{k-\ell}{(1-p) k}\Big)^{k/\ell-1} ~\le~ \exp\Big(\frac{2\delta^2 pk}{\ell}\Big).$$ $\ell= (1-\delta)pk$ $$(1-\delta) \Big(1+\frac{\delta p}{1-p}\Big)^{\displaystyle \frac{1}{(1-\delta)p}-1} ~\le~ \exp\Big(\frac{2\delta^2}{1-\delta}\Big).$$ 取双方的对数，并使用两次，它将保持 上面的左侧简化为，它小于因为。优质教育$\ln(1+z)\le z$ $$-\delta\, +\,\frac{\delta p}{1-p}\Big(\frac{1}{(1-\delta)p}-1\Big) ~\le~ \frac{2\delta^2}{1-\delta}.$$ $\delta^2/\,(1-p)(1-\delta)$$2\delta^2/(1-\delta)$$p\le 1/2$

声明2和3暗示。这意味着引理的第（i）部分。$A B \ge \exp({-\epsilon^2pk})\exp({- 8\epsilon^2pk})$

引理1的证明（ii）。 在不失一般性的前提下，假设每个随机变量的概率为均为。$1$$p$

注意。修复。$\Pr[X\ge (1+\epsilon)p] = \sum_{i = \lceil(1-\epsilon)pk\rceil}^n \Pr[X=i/k]$$\hat\ell = \lceil (1+2\epsilon)pk \rceil - 1$

总和中最后的项至少等于 ，至少等于。（证明与（i）相同，不同之处在于被替换 ，被替换，使得。）$\epsilon pk$$(\epsilon pk-2)\Pr[X=\hat\ell/k]$$\exp({-9\epsilon^2 pk})$$\ell$$\hat\ell$$\delta$$-\hat\delta$$\hat\ell = (1+\hat\delta)pk$

的浆果Esseen定理可以给尾概率下限，只要它们比更高。$n^{-1/2}$

您可以使用的另一个工具是Paley-Zygmund不等式。这意味着对于任何偶数以及任何实值随机变量，$k$$X$

$$\Pr[|X| >= \frac{1}{2}(\mathbb{E}[X^k])^{1/k}] \geq \frac{\mathbb{E}[X^k]^2}{4\mathbb{E}[X^{2k}]}$$

结合多项式定理，对于， rademacher随机变量之和Paley-Zygmund可以使您获得很强的下界。它也适用于有界独立随机变量。例如，您很容易得出 4方向独立随机变量的总和为且具有恒定的概率。$X$$n$$n$$\pm 1$$\Omega(\sqrt{n})$

如果您确实可以接受Bernoulli试验的有界和（而不是有界随机变量），那么以下内容就很严格了。

Slud的不平等*。 令是iid从具有的伯努利rv得出，并给出整数。如果（a）和或（b），则其中是标准法线的cdf。$\{X_i\}_{i=1}^n$$\mathbb{E}(X_1) = p$$k\leq n$$p\leq 1/4$$np \leq k$$np \leq k \leq n(1-p)$

$$\text{Pr}\big[\sum_i X_i \geq k\big] \geq 1 - \Phi\left(\frac{k-np}{\sqrt{np(1-p)}}\right),$$ $\Phi$

（将的参数视为转换标准法线，这完全与CLT告诉您的内容一致；实际上，它告诉我们，满足定理条件的二项式将在上尾部控制它们相应的高斯式。）$\Phi$

从这里，您可以在上使用bounds 获得更好的东西。例如，在Feller的第一本书中，在关于高斯的部分中，对于每显示其中是标准法线的密度。在Wikipedia文章中，“ Q函数”也有类似的界限。$\Phi$$z>0$

$$\frac{z}{1+z^2}\varphi(z) < 1-\Phi(z) < \frac{1}{z}\varphi(z),$$ $\varphi$

除此之外，以及其他人所说的，您也可以尝试直接使用二项式，也许与一些斯特灵一起使用。

（*）一些新的关于Slud不等式的陈述排除了其中一些情况；我已经在Slud的论文中转载了一篇。

de Moivre-Laplace定理表明，变量在适当地归一化并且在某些条件下，将在分布上收敛到正态分布。如果您想要恒定的下限，那就足够了。$|T\cap S_1|$

对于像这样的下界，您需要一个更好的工具。这是我所知道的一个参考（但只是偶然-我从来没有机会自己使用过这种不平等）。关于二项式分布的尾部概率的一些明确的下限在定理1.5 （BélaBollobás 的《随机图》，剑桥，第二版）中给出，其中进一步引用了Feller 的《概率论及其应用》和Rényi 的《概率的基础》。$n^{-c}$

广义Littlewood-Offord定理不是您想要的，但它通过显示随机变量的总和不太可能在任何特定值（包括期望）。也许会有用。

形式上，该定理如下。

广义Littlewood-Offord定理：令和为实数，使得为并令为独立的随机变量，其值为零和一。对于，假设对于所有，。然后，对于任何， 其中是一个常数，仅取决于。$a_1, \ldots, a_n$$s>0$$|a_i| \ge s$$1 \le i \le n$$X_1, \ldots, X_n$$0 < p \le \frac{1}{2}$$p \le \Pr[X_i = 0] \le 1-p$$1 \le i \le n$$r \in \mathcal{R}$

$$\Pr \left[ r \le \sum_{i=1}^{n}{a_iX_i} < r+s\right] \le \frac{c_p}{\sqrt{n}}$$ $c_p$$p$

Wikipedia上所述的标准Chernoff界中的指数对于0/1值的随机变量是严格的。令，令为独立随机变量的序列，这样对于每个，和。然后对于每个， $0<p<1$$X_1,X_2,\ldots$$i$$\Pr[X_i=1]=p$$\Pr[X_i=0]=1-p$$\varepsilon>0$

$$\begin{equation} \frac{2^{-D(p+\varepsilon\| p)\cdot n}}{n+1}\leq \Pr\left[ \sum_{i=1}^n X_i \geq (p+\varepsilon)n\right]\leq 2^{-D(p+\varepsilon\| p)\cdot n}. \end{equation}$$

在这里，，这是伯努利随机数之间的Kullback-Leibler散度具有参数和变量。$D(x\| y)=x \log_2(x/y)+(1-x)\log_2((1-x)/(1-y))$$x$$y$

如前所述，以上不等式的上限已在Wikipedia（https://en.wikipedia.org/wiki/Chernoff_bound）上以“ Chernoff-Hoeffding定理，加法形式”证明。下限可以使​​用“类型方法”来证明。参见[1]中的引理II.2。同样，在Cover和Thomas撰写的经典的信息论教科书中也有介绍。

[1] ImreCsiszár：类型方法。IEEE信息理论交易（1998年）。http://dx.doi.org/10.1109/18.720546