了解测量浓度不均

本着这个问题的精神，我理解在霍夫丁不等式中使用的引理的证明，我试图理解导致霍夫丁不等式的步骤。

在证明中，对我而言最神秘的是为iid变量之和计算指数矩的那部分，然后应用Markov不等式。

我的目标是了解：为什么这种技术会带来严重的不平等，这是我们可以实现的最严格的吗？一个典型的解释是关于指数的矩产生特性。但是，我觉得这太含糊了。

Tao的博客中的帖子http://terrytao.wordpress.com/2010/01/03/254a-notes-1-concentration-of-measure/#hoeff可能会提供一些答案。

考虑到这一目标，我的问题是我停留在涛的帖子中的三点，希望我能在解释后给我以启发。

Tao使用第k个矩如果对于任何k都成立，则他得出指数界。这是我迷路的地方。
$P (| S_{n} | \geq λ \sqrt{n}) \leq 2 (\frac{\sqrt{e k / 2}}{λ})^{k} . (7)$ $\displaystyle {\bf P}( |S_n| \geq \lambda \sqrt{n} ) \leq 2 (\frac{\sqrt{ek/2}}{\lambda})^k. \ \ \ \ \ (7)$ $P (| S_{n} | \geq λ \sqrt{n}) \leq C \exp (- c λ^{2}) (8)$ $\displaystyle {\bf P}( |S_n| \geq \lambda \sqrt{n} ) \leq C \exp( - c \lambda^2 ) \ \ \ \ \ (8)$
给出了Hoeffding的引理：引理1（Hoeffding的引理）令是一个标量变量，其取值在区间。然后对于任何，特别是引理1的证明始于对泰勒展开的期望为什么该展开受该二次项限制？方程10如何跟随？ ${X}$ ${[a,b]}$ ${t>0}$
$E e^{t X} \leq e^{t E X} (1 + O (t^{2} V a r (X) \exp (O (t (b - a)))) . (9)$ $\displaystyle {\bf E} e^{tX} \leq e^{t {\bf E} X} (1 + O( t^2 {\bf Var}(X) \exp( O( t (b-a) ) ) ). \ \ \ \ \ (9)$ $E e^{t X} \leq e^{t E X} \exp (O (t^{2} (b - a)^{2})) . (10)$ $\displaystyle {\bf E} e^{tX} \leq e^{t {\bf E} X} \exp( O( t^2 (b-a)^2 ) ). \ \ \ \ \ (10)$ $\displaystyle e^{tX} = 1 + tX + O( t^2 X^2 \exp( O(t) ) )$
最后，给出一个练习：
练习1表明（10）中的因子可以替换为，并且锋利。这将提供比霍夫丁不等式中使用的理解引理证明中的证明短得多的证明，但是我不知道该如何解决。 ${O(t^2(b-a)^2)}$ ${t^2 (b-a)^2/8}$

关于不等式证明或我们无法得出更严格界限的原因的任何进一步直觉\解释，绝对是受欢迎的。

probability probability-inequalities

— 狮子座
source

您阅读过霍夫丁的原始论文吗？

— Alecos Papadopoulos

@AlecosPapadopoulos我实际上还没有。我给人的印象是，其中的推导包括通常在数学课程中讲授的代数步骤，而这些步骤缺乏我要寻找的解释。你能说其他吗？

— 狮子座

我建议你阅读。jstor中的稳定网址是jstor.org/stable/2282952。“对您而言最神秘的东西”是论文的定理1、2和3，其证明在论文的第4节中（而不是最后），它们对我来说很清楚。我不知道您是否在寻找某种“非数学”的直觉-如果是的话，它并不总是存在的。

— Alecos Papadopoulos

在证明度量不等式集中的过程中，使用指数矩是一个常见步骤。我的理解如下：1）通过使用，而不是，一个捕获所有的时刻，而不是仅仅在第一时刻。因此，绑定总是有好处的，而不是绑定，因为有更多信息。为什么有更多信息？通过的泰勒展开式这一事实给出了一种非正式的解释。如您所见所有力量 $\mathbb{E}e^X$ $\mathbb{E} X$ $X$ $\mathbb{E} e^X$ $\mathbb{E}X$ $\mathbb{E} e^X$ $\mathbb{E} e^X$ $e^{X}=1+X+\frac{X^2}{2}+\frac{X^3}{6}+\ldots$ $X$ 参与其中。因此，当您使用，您实际上最终会限制所有时刻。 $\mathbb{E}X$ $X$

— gmravi2003
source

根据定义，任何在附近的解析函数都具有绝对收敛的泰勒级数。因此，您的论点表明，指数也可以由代替。指数有什么特别之处吗？

f

$f$

0

$0$

e^{X}

$e^X$

f (X)

$f(X)$

— ub

我没有想到用一般的分析函数代替。但是，既然您已经提到它，我想一个“合适的”函数可能是，从而可以应用马氏不等式，并且泰勒展开式具有所有幂，因此所有矩都是被抓我想是最简单，最自然的选择。

f

$f$

f (x) > 0

$f(x) >0$

X

$X$

e^{X}

$e^X$

— gmravi2003

我没有研究过，但是我怀疑指数具有某些特殊的属性，包括您所命名的属性，这些属性很关键：所有系数都应严格为正，并且在所有地方都绝对收敛是很方便的。但我相信，此功能必不可少的深层原因与傅立叶和拉普拉斯变换的性质有关。探索量度不等式的导数，以了解究竟使用了哪些指数属性可能很有启发性！（+1）

— 嘘声

@whuber，这是一个不错的观察。我目前发现目前缺乏解释。确实使我信服的是指数函数的上限和可分离性。也就是说，。因此，如果，我们平均iid变量越多，作用于此项的功效就越大。从而给出指数界。

P {x 1 + x 2 > 0} = E {1 [x 1 + x 2 > 0]} \leq E {e x p (t * x 1)} E {e x p (t * x 2)}

$P\{x1+x2>0\}=E\{1[x1+x2>0]\} \leq E\{exp(t*x1)\}E\{exp(t*x2)\}$

E {e x p (t * x 1)} < 1

$E\{exp(t*x1)\}<1$

— 狮子座

我想让您感兴趣的是关于边界约束的问题：stats.stackexchange.com/questions/77019/…–

— Leo