除詹森不等式之外，以表示的

如果 $f$ 是凸函数然后Jensen不等式指出 $f(\textbf{E}[x]) \le \textbf{E}[f(x)]$ ，并且加以必要的变更时 $f$ 是凹的。显然，在最坏的情况下不能上限 $\textbf{E}[f(x)]$ 在以下方面 $f(\textbf{E}[x])$ 为凸 $f$ ，但有一个约束，且在去如果这个方向 $f$ 是凸但不是太凸？有一些标准的约束，让上凸函数条件 $f$ （以及可能的分布以及，如果需要的话），这将让你得出这样的结论 $\textbf{E}[f(x)] \le \varphi(f)f(\textbf{E}[x])$ ，其中 $\varphi(f)$ 是曲率/度的凸度的某个函数 $f$ ？类似于Lipschitz病状吗？

randomness pr.probability randomized-algorithms

— 伊恩
source

投票关闭为题外话。math.stackexchange.com也许？

— Aryabhata 2010年

我认为这个问题应该保持开放。这是许多工作理论家经常发现的不平等现象。

— 亚伦·罗斯

我知道这比到目前为止发布的大多数问题都更接近于纯数学，但是我认为这是很热门的，因为这种事情在随机算法的分析中经常出现（这是我在心神）。我认为在计算机科学中大量使用的数学应该被视为公平问题的游戏。

— 伊恩

投票保持开放。绝对是主题

— Suresh Venkat

我也投票保持开放。

— 杰夫·杰夫

编辑：原始版本缺少绝对值。抱歉！！

嗨，伊恩。我将简要概述两个样本不等式，一个不等式使用Lipschitz界，另一个不等式使用二阶导数的界，然后讨论此问题中的一些困难。尽管我很多余，但是由于使用一个导数的方法可以解释更多导数（通过Taylor）的情况，因此事实证明，第二个导数版本非常好。

首先，以Lipschitz为界：简单地重新计算标准的Jensen不等式。同样的技巧也适用：在期望值上计算泰勒展开。

具体地，令具有对应的度量，并设置。如果具有Lipschitz常数，则根据泰勒定理 $X$ $\mu$ $m := \textrm E(x)$ $f$ $L$

f (x) = f (m) + F^{'} （ ž ） （ X - 米 ） \leq F （ 米 ） + 大号 | X - 米 | ，

$f(x) = f(m) + f'(z)(x-m) \leq f(m) + L|x-m|,$

其中（注意，和是可能的）。使用此代码并重新处理Jensen证明（我很偏执，并检查了标准的确存在于维基百科上）， $z \in [m, x]$ $x\leq m$ $x> m$

\begin{aligned} Ë （ F （ X ） ） & = \int F （ X ） d μ （ X ） \leq F （ 米 ） \int d μ （ X ） + 大号 \int | X - 米 | d μ （ X ） \\ = F （ Ë （ X ） ） + 大号 Ë （ | X - Ë （ X ） | ） 。 \end{aligned}

$\begin{align} \operatorname{E}(f(X)) & = \int f(x) \, d\mu(x) \leq f(m) \int d\mu(x) + L\int |x-m| \, d\mu(x) \\[6pt] & = f(\operatorname{E}(X)) + L \operatorname{E} (|X-\operatorname{E}(X)|). \end{align}$

现在，假设。在这种情况下， $|f''(x)| \leq \lambda$

\begin{aligned} F （ X ） & = F （ 米 ） + F^{'} （ 米 ） （ X - 米 ） + F^{''} （ ž ） \frac{（ X - 米 ）^{2}}{2} \\ \leq F （ 米 ） + F^{'} （ 米 ） （ X - 米 ） + λ \frac{（ X - 米 ）^{2}}{2} ， \end{aligned}

$\begin{align} f(x) & = f(m) + f'(m)(x-m) + f''(z) \frac{(x-m)^2} 2 \\[6pt] & \leq f(m) + f'(m)(x-m) + \lambda \frac{(x-m)^2} 2, \end{align}$

所以

\begin{aligned} Ë （ F （ X ） ） & \leq F （ 米 ） + F^{'} （ 米 ） （ Ë （ X ） - 米 ） + \frac{λ Ë （ （ X - 米 ）^{2} ）}{2} \\ = F （ Ë （ X ） ） + \frac{λ Var （ X ）}{2} 。 \end{aligned}

$\begin{align} \operatorname{E}(f(X)) & \leq f(m) + f'(m)(\operatorname{E}(X) - m) + \frac {\lambda \operatorname{E}((X-m)^2)}{2} \\[6pt] & = f(\operatorname{E}(X)) + \frac {\lambda \operatorname{Var}(X)}2. \end{align}$

我想简单地提到几件事。很抱歉，如果它们很明显。

一个是，您不能仅仅通过改变分布来说“ wlog ”，因为您正在改变和之间的关系。 $\operatorname{E}(X) = 0$ $f$ $\mu$

其次是界限必须以某种方式取决于分布。看到这一点，想象和。无论的值是，您仍然可以获得。另一方面， $X \sim \textrm{Gaussian}(0, \sigma^2)$ $f(x) = x^2$ $\sigma$ $f(\operatorname{E}(X)) = f(0) = 0$ 。因此，通过改变，您可以使两个量之间的距离任意！直观地，更多的质量被推离平均值，因此，对于任何严格的凸函数，将增加。 $\operatorname{E}(f(X)) = \operatorname{E}(X^2) = \sigma^2$ $\sigma$ $\operatorname{E} (f(X))$

最后，我没有看到如何像您建议的那样获得乘法边界。我在这篇文章中使用的所有内容都是标准的：泰勒定理和导数界是统计界的起伏，它们会自动给出加法而非乘法误差。

我会考虑一下，然后发布一些内容。模糊的直觉是，在功能和分布上都需要非常苛刻的条件，而加法边界实际上是其核心。

— 马图斯
source

每次我编辑时，答案都会改变。因此，我要指出：对于我给出的示例，二阶导数边界很紧。

— 10年

我认为您是对的，因为在函数上没有更严格的条件的情况下，加法范围是最好的。

— 伊恩

亲爱的伊恩，我对这个问题的思考还很多，但是我给出的例子暗示了我的主要困难，其中

，但是

。您可以同时约束函数族（有界，有界导数，可积）和分布（平滑，有界，有界母体），并且仍然有这些示例。在分布的平均值处具有等于零的对称非负函数就足够了。也就是说，一切都取决于确切问题中的约束。在一般情况下，我认为加性是基本的。

f (E (X)) = 0

$f(\textrm E(X))= 0$

E (f (X)) > 0

$\textrm E (f(X)) > 0$

— 10年

@Ian：Chernoff和Azuma-Hoeffding不等式的证明使用的让人联想到这一点，因此您不妨阅读这些内容以获取启发。参见例如Mitzenmacher和Upfal关于计算中的随机化的书。

— 沃伦·舒迪

为了获得洞察力，请考虑集中在两个值上的分布。例如，当，等于1/2的等概率等于1或3 。采取和。考虑函数，其中并且。通过制造 $\textbf{E}[x] = 2$ $N >> 0$ $\epsilon > 0$ $f$ $f(1) = f(3)= N\epsilon$ $f(\textbf{E}[x]) = f(2) = \epsilon$ 足够小，并且在这三个点之间连续连接，我们可以使的曲率尽可能小。然后 $\epsilon$ $f$ $f$

，但 $\textbf{E}[f(x)] = N\epsilon$

。 $N = N\epsilon / \epsilon = \textbf{E}[f(x)] / f(\textbf{E}[x]) \le \varphi(f)$

这表明必须任意大。 $\varphi(f)$

— ub
source