了解Hoeffding不等式中使用的引理的证明

我正在学习拉里·瓦瑟曼（Larry Wasserman）关于统计学的讲义，该讲义以卡塞拉（Casella）和伯格（Berger）为主要教材。我正在研究他的讲义集2，并陷入了霍夫丁不等式中使用引理的推论（第2-3页）。我将在下面的注释中复制证明，在证明之后，我将指出我被卡在的地方。

---

引理

假设，并且。然后 。$\mathbb{E}(X) = 0$$a \le X \le b$$\mathbb{E}(e^{tX}) \le e^{t^2 (b-a)^2/8}$

证明

由于，我们可以写为的凸组合和，即 其中。通过函数凸性，我们得到$a \le X \le b$$X$$a$$b$$X = \alpha b + (1 - \alpha) a$$\alpha = \frac{X-a}{b-a}$$y \to e^{ty}$

$e^{tX} \le \alpha e^{tb} + (1 - \alpha) e^{ta} = \frac{X-a}{b-a} e^{tb} + \frac{b-X}{b-a} e^{ta}$

取得双方的期望并使用事实来获得$\mathbb{E}(X) = 0$

$\mathbb{E}(e^{tX}) \le \frac{-a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta} = e^{g(u)}$

其中$u = t(b-a)$，$g(u) = -\gamma u + \log(1-\gamma + \gamma e^{u})$和$\gamma = -a /(b-a)$。注意，$g(0) = g^{'}(0) = 0$。对于所有u> 0也是g ^ {''}（u）\ le 1/4。$g^{''}(u) \le 1/4$$u > 0$

根据泰勒定理，有一个$\varepsilon \in (0, u)$使得 $g(u) = g(0) + u g^{'}(0) + \frac{u^2}{2} g^{''}(\varepsilon) = \frac{u^2}{2} g^{''}(\varepsilon) \le \frac{u^2}{8} = \frac{t^2(b-a)^2}{8}$

因此$\mathbb{E}(e^{tX}) \le e^{g(u)} \le e^{\frac{t^2(b-a)^2}{8}}$。

---

我可以遵循证明直到

u，g（u），$\mathbb{E}(e^{tX}) \le \frac{-a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta} = e^{g(u)}$ 但我无法弄清楚如何获得。$u, g(u), \gamma$

我不确定我是否正确理解了您的问题。我将尝试回答：尝试将为的函数：很自然，因为您想要在绑定。u=t（b−a）e u

$$-\frac{a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta}$$ $u = t(b-a)$$e^{u^2 \over 8}$

在经验的帮助下，您将知道最好选择以的形式编写。然后 导致 与。 e g （u ） = − $e^{g(u)}$ g （u

$$e^{g(u)} = -\frac{a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta}$$ $$\begin{align*} g(u) &= \log\left( -\frac{a}{b-a} e^{tb} + \frac{b}{b-a} e^{ta} \right)\\ &= \log\left( e^{ta} \left( -\frac{a}{b-a} e^{t(b-a)} + \frac{b}{b-a} \right)\right)\\ &= ta + \log\left( \gamma e^u + (1-\gamma) \right)\\ &= -\gamma u + \log\left( \gamma e^u + (1-\gamma) \right),\\ \end{align*}$$ $\gamma = - {a \over b-a}$

这就是您要的那种吗？

编辑：关于证明的一些评论

1. 第一个技巧值得仔细研究：如果是凸函数，而是居中的随机变量，则 其中是定义的离散变量 因此，您得到为在中具有最大方差的居中变量： 请注意，如果我们固定支撑宽度一个≤ X ≤ b È（$\phi$$a\le X\le b$X 0 P（X 0 = a $$\mathbb{E}(\phi(X)) \le -{a\over b-a} \phi(b) + {b \over b-a} \phi(a) = \mathbb{E}(\phi(X_0)),$$ $X_0$X0[a，b]Var（X）=E（X2） $$\begin{align*} \mathbb P(X_0=a) &= {b \over b-a}\\ \mathbb P(X_0=b) &= -{a \over b-a}.\end{align*}$$ $X_0$$[a,b]$（b − a $$\mathsf{Var} (X) = \mathbb{E}(X^2) \le \mathbb{E}(X_0^2) = {ba^2 - ab^2 \over b-a } = - ab.$$ $(b-a)$，正如Dilip在评论中所说的，它小于，这是因为 ; 达到的界限。$(b-a)^2\over 4$$(b-a)^2 + 4ab \ge 0$$a=-b$

2. 现在转向我们的问题。为什么有可能仅取决于得到界限？直观地讲，这只是缩放的问题：如果对于案例，您有一个的边界，那么一般边界可以通过取。现在考虑在宽度1的支持下的一组中心变量，因为自由度不高，所以应该存在像这样的边界。 另一种方法是简单地说，根据上述引理，然后更一般地说，它仅取决于和X È （Ë 吨X） ≤ 小号（吨）b - 一个= 1 小号（吨（b - 一））小号（吨）$u = t(b-a)$$X$$\mathbb{E}\left( e^{tX} \right) \le s(t)$$b-a=1$$s( t(b-a) )$$s(t)$
   
   ë（φ （吨X ））≤ è（φ （吨X $\mathbb{E}(\phi(X))$Ù γ Ù = Ù 0 = - 一个$\mathbb{E}(\phi(tX)) \le \mathbb{E}(\phi(tX_0))$$u$$\gamma$：如果您修正和，并且让变化，那么只有一个自由度，和，，。我们得到 您只需要找到一个只涉及的边界。γ = γ $u = u_0 = t_0 (b_0 - a_0)$ t，a，$\gamma = \gamma_0 = - {a_0 \over b_0-a_0}$$t, a, b$一个=α一个0b=α$t = {t_0 \over \alpha}$$a = \alpha a_0$ - $b = \alpha a_0$

   $$-{a\over b-a} \phi(tb) + {b \over b-a} \phi(ta) = -{a_0\over b_0-a_0} \phi(tb_0) + {b_0 \over b_0-a_0} \phi(a_0).$$ $u$

3. 现在，我们坚信可以做到这一点，它必须容易得多！您不必首先想到。关键是您必须将所有内容都编写为和的函数。 首先请注意，，，和。然后 现在在特殊情况下，我们是 ... I认为你可以完成。ü $g$$u$$\gamma$
   
   $\gamma = -{a\over b-a}$一吨=-γùb$1 -\gamma = {b\over b-a}$$at = -\gamma u$È（φ （吨X ））$bt = (1-\gamma)u$ φ=

   $$\begin{align*} \mathbb{E}(\phi(tX)) \le &-{a\over b-a} \phi(tb) + {b \over b-a} \phi(ta) \\ = & \gamma \phi((1-\gamma)u) + (1-\gamma) \phi(-\gamma u) \end{align*}$$
   
   $\phi=\exp$

我希望我能澄清一下。