独立指数随机变量的总和

我们可以证明在独立指数随机变量的总和上有一个尖锐的集中结果是独立随机变量，使得。令。我们可以证明形式为。如果我们使用chernoff边界的方差形式，那么这将直接遵循，因此我相信这是正确的，但是我读取的边界需要有界或对变量的有界有一定的依赖性。有人可以指出以上证明吗？ $X_1, \ldots X_r$ $Pr(X_i < x) = 1 - e^{-x/\lambda_i}$ $Z = \sum X_i$ $Pr(|Z-\mu_Z|>t) < e^{-t^2/\sum (\lambda_i)^2}$

pr.probability randomness chernoff-bound

— 唠叨
source

只需遵循切尔诺夫证明即可：限制指数随机变量的指数矩很容易。

— 2013年

我试图重复切尔诺夫的证明。当所有时，我为更简单的情况进行了处理。在的温和条件下，我可以获得所需的关系。这种情况是自然产生的还是由于我的解决方案不够好？

λ_{i} = λ

$\lambda_i = \lambda$

t < n λ

$t < n\lambda$

— 2013年

在此处检查引力

— Sasho Nikolov

是的，这很有意义。甚至在他们引理他们有一个条件足够小。好的，那么我的解决方案似乎是正确的。非常感谢您的链接和建议。

t

$t$

— 2013年

@SureshVenkat完成。不，我认为您的问题中有一些错别字。首先，对于正是非常奇数的CDF 。您是说吗？如果这样做了，则方差的形式为并且您的切尔诺夫边界看起来不太正确。

Pr [X_{i} < x] = e^{- λ_{i} x}

$\Pr[X_i < x] = e^{-\lambda_i x}$

x

$x$

Pr [X_{i} < x] = 1 - e^{- λ_{i} x}

$\Pr[X_i < x] = 1-e^{-\lambda_i x}$

λ_{i}^{- 2}

$\lambda_i^{-2}$

— Sasho Nikolov

Answers:

具体而言，假设rv的pdf 为 $X_i$

p (X_{i} = x) = \frac{1}{2} λ_{i} e^{- λ_{i} | x |} .

$p(X_i = x) = \frac{1}{2} \lambda_i e^{-\lambda_i|x|}.$

这是拉普拉斯分布或双指数分布。其方差为。CDF是 $\frac{2}{\lambda_i^2}$

Pr [X_{i} \leq x] = 1 - \frac{1}{2} e^{- λ_{i} x}

$\Pr[X_i \leq x] = 1 - \frac{1}{2}e^{-\lambda_i x}$ 对于。

x \geq 0

$x \geq 0$

的矩生成函数为 $X_i$

E e^{u X_{i}} = \frac{1}{1 - u^{2} / λ_{i}^{2}},

$\mathbf{E}\ e^{uX_i} = \frac{1}{1 - u^2/\lambda_i^2},$ 对于。使用这个事实和在Chernoff边界证明中标准的指数矩方法，可以得出和，以下不等式成立

| u | < λ_{i}

$|u| < \lambda_i$

X = \sum_{i} X_{i}

$X = \sum_i X_i$

σ^{2} = 2 \sum_{i} λ_{i}^{- 2}

$\sigma^2 = 2\sum_i \lambda_i^{-2}$

Pr [X > t σ] < e^{- t^{2} / 4},

$\Pr[X > t\sigma] < e^{-t^2/4},$ 只要。你可以找到的引理2.8的证明的详细推导本文。

t \leq 2 σ min_{i} λ_{i}

$t \leq 2\sigma \min_{i}{\lambda_i}$

— 萨肖·尼科洛夫（Sasho Nikolov）
source

非常感谢您的回答。但是，在我的应用程序中，不一定是正确的。但是，在情况下，人们甚至会期待更高的注意力。如果我们不使用的近似值，它会限制在证明中的范围，但是在不同的情况下，则无法进行分析，就可以得到这样的结果。在这方面有什么建议吗？

t \leq \sqrt{2} σ m i n_{i} λ_{i}

$t \leq \sqrt{2} \sigma min_i \lambda _i$

t > \sqrt{2} σ m i n_{i} λ_{i}

$t > \sqrt{2} \sigma min_i \lambda _i$

1 / (1 - x) \leq e^{c x}

$1/(1-x) \leq e^{cx}$

t

$t$

λ_{i}^{'} s

$\lambda _i 's$

— 2013年

这会有些费劲，但是我希望只有很少的超过的中位数时，才有可能发生如此大的值。很多。但是双指数变量的尾巴比高斯函数重，并且少数变量不能集中于高斯

X

$X$

X_{i}

$X_i$

| X_{i} |

$|X_i|$

— Sasho Nikolov 2013年

我实现了我上面写的是不明确的：我预计，出路在尾部看起来像另一个RV的尾部这是一个小数字双指数RV这样的尾部和不应该次高斯。

X

$X$

X^{'}

$X'$

X^{'}

$X'$

— Sasho Nikolov

对于拉普拉斯分布，如果您使用伯努利绑定，则可以编写

E e^{u \sum_{i} X_{i}} = \prod_{i} \frac{1}{1 - u^{2} / λ_{i}^{2}} \leq \frac{1}{1 - u^{2} σ^{2} / 2},

$Ee^{u\sum_i X_i} = \prod_i \frac1{1-u^2/\lambda_i^2} \le \frac1{1-u^2\sigma^2/2},$ 其中。然后经典的切尔诺夫方法给出

σ^{2} = 2 \sum_{i} λ_{i}^{- 2}

$\sigma^2=2\sum_i\lambda_i^{-2}$

Pr [\sum_{i} X_{i} \geq t σ] \leq \frac{1 + \sqrt{1 + 2 t^{2}}}{2} e^{1 - \sqrt{1 + 2 t^{2}}} \leq {\begin{cases} (e t / \sqrt{2} + 1) e^{- \sqrt{2} t} \\ e^{- t^{2} / 2 + t^{4} / 8} \end{cases} .

$\Pr[\sum_i X_i \ge t\sigma]\le \tfrac{1+\sqrt{1+2t^2}}{2} e^{1-\sqrt{1+2t^2}} \le\cases{ (et/\sqrt2+1) e^{-\sqrt{2}t} \\ e^{-t^2/2 + t^4/8}} .$

请注意，这些界限适用于和不受限制的值。右边的边界显示了两种可能的状态。对于较小的值，我们得到“正常”浓度，而对于较大的值，我们得到，这也是CDF的CDF。一个Laplace分布变量。 $t$ $\lambda_i$ $t$ $e^{-t^2/2}$ $t$ $\approx e^{-\sqrt{2}t}$

在势必让你在两种情况之间进行内插，但我怀疑，在几乎所有情况下，人会牢牢无论是在大或小阵营。 $1-\sqrt{1+2t^2}$ $t$ $t$

对于指数分布，相同的技术给我们其中。因此，因此，您仍然可以看到一些正常的外观，但是使用而不是我们可能希望的。我不知道是否有可能获得方差方面的约束。您可以尝试研究，但是使用起来似乎并不容易。 $Ee^{u\sum_iX_i}\le\frac{1}{1-u\mu}$ $\mu=\sum_i 1/\lambda_i$

Pr [(\sum_{i} X_{i}) - μ \geq t μ] \leq (t + 1) e^{- t} \leq e^{- t^{2} / 2 + t^{3} / 3} .

$\Pr[(\sum_i X_i)-\mu \ge t\mu]\le (t+1) e^{-t} \le e^{-t^2/2+t^3/3}.$

t μ

$t\mu$

t σ

$t\sigma$

E e^{u (\sum X_{i} - μ)^{2}}

$Ee^{u(\sum X_i-\mu)^2}$

— 托马斯·阿勒
source

我没有时间弄清楚细节，但我有99.9％的把握可以确定一个依赖于方差的指数分布随机变量的界限。您在力矩生成函数上的约束看起来过于宽松。

— 沃伦·舒迪

@沃伦·舒迪（Warren Schudy），您的处理方式是什么？

— 托马斯·艾勒

我看到了两种明显的方法：1.en.wikipedia.org/wiki/…列出的第二个界限似乎应该起作用。2.在力矩生成函数上找到一个更严格的界限。

— 沃伦·舒迪

@WarrenSchudy Bernstein边界给出，但仅适用于。我想这类似于Sasho的回答。

Pr [\sum_{i} X_{i} \geq t σ] \leq e^{- t^{2} / 2}

$\Pr[\sum_iX_i\ge t\sigma]\le e^{-t^2/2}$

t \leq σ min_{i} λ_{i} / 2

$t\le\sigma\min_i\lambda_i/2$

— Thomas Ahle

高斯风格的边界不可避免地会在某个时刻停止。最终，即使是单个指数分布的随机变量，其尾部也比任何高斯都胖。

— 沃伦·舒迪