概率不等式

我正在寻找无限随机变量之和的一些概率不等式。如果有人可以给我一些想法，我将不胜感激。

我的问题是找到无界iid随机变量之和（实际上是两个iid高斯的乘积）超过某个值的概率的指数上限，即，其中，和是根据。 $\mathrm{Pr}[ X \geq \epsilon\sigma^2 N] \leq \exp(?)$ $X = \sum_{i=1}^{N} w_iv_i$ $w_i$ $v_i$ $\mathcal{N}(0, \sigma)$

我尝试通过矩生成函数（MGF）使用切尔诺夫界，派生界由下式给出：

$\begin{eqnarray} \mathrm{Pr}[ X \geq \epsilon\sigma^2 N] &\leq& \min\limits_s \exp(-s\epsilon\sigma^2 N)g_X(s) \\ &=& \exp\left(-\frac{N}{2}\left(\sqrt{1+4\epsilon^2} -1 + \log(\sqrt{1+4\epsilon^2}-1) - \log(2\epsilon^2)\right)\right) \end{eqnarray}$

其中 $g_X(s) = \left(\frac{1}{1-\sigma^4 s^2}\right)^{\frac{N}{2}}$ 是的MGF $X$ 。但是界限并不是那么紧密。我的问题的主要问题是随机变量是无界的，不幸的是我无法使用霍夫丁不等式的界。

如果您能帮助我找到一些严格的指数界限，我将很高兴。

— 法尔扎德
source

听起来像是压缩感知相关的问题。查阅R. Vershynin关于非渐近随机矩阵理论的注释，尤其是他所谓的次指数随机变量的界限。那会让您入门。如果您需要更多指针，请告诉我们，我将尝试发布更多信息。

— 主教

关于math.SE的这个主题，至少有一些相关的问答（免责声明：包括我参与的其中之一）。

— 主教

产品

w_{i} v_{i}

$w_i v_i$ 具有“正常产品”分布。我相信此乘积的均值为零，方差为

σ^{4}

$\sigma^4$ ，其中

σ^{2}

$\sigma^2$ 是

w_{i}

$w_i$ 和

的方差

v_{i}

$v_i$ 。对于

N

$N$ 较大，可以使用中心极限定理来获得

近似正态性

X

$X$ 。如果您可以计算正态产品分布的偏斜，我相信您可以应用Berry-Esseen定理来约束CDF的收敛速度。

— shabbychef 2011年

@ shabbychef，Berry-Esseen收敛很慢，因为它是所有分布函数的类的统一边界。

F

$F$

— 主教

@DilipSarwate：对不起，我刚才看到您的评论是一段时间以前。我认为您可能对以下几篇小论文感兴趣，我也将其与数学上的SE相关联了几次：TK Phillips和R. Nelson（1995），这一时刻的约束比切尔诺夫的正尾约束要紧。概率，美国统计学家，第42卷，没有。2.，175-178。

— 主教

Answers:

使用切尔诺夫边界，您建议为稍后指定的一些，其中第二个不等式由于对于任何。现在取和，右边变成对于任何，得出。 $s\le 1/(2\sigma^2)$

P [X > t] \leq \exp (- s t) \exp (- (N / 2) \log (1 - σ^{4} s^{2})) \leq \exp (- s t + σ^{4} s^{2} N)

$P[X>t] \le \exp(-st) \exp\Big(-(N/2) \log(1-\sigma^4s^2) \Big) \le \exp(-st + \sigma^4s^2 N)$

- \log (1 - x) \leq 2 x

$-\log(1-x)\le 2x$

x \in (0, 1 / 2)

$x\in(0,1/2)$

t = ϵ σ^{2} N

$t=\epsilon \sigma^2 N$

s = t / (2 σ^{4} N)

$s=t/(2\sigma^4N)$

\exp (- t^{2} / (4 σ^{4} N) = \exp (- ϵ^{2} N / 4)

$\exp(-t^2/(4\sigma^4N)=\exp(-\epsilon^2 N/4)$

P [X > ϵ σ^{2} N] \leq \exp (- ϵ^{2} N / 4) .

$P[X>\epsilon \sigma^2 N] \le \exp(-\epsilon^2 N/4).$

ϵ \in (0, 1)

$\epsilon\in(0,1)$

另一个途径是直接应用浓度不等式，例如Hanson-Wright不等式，或2级高斯混沌的浓度不等式，其中包括您感兴趣的随机变量。

不使用力矩生成功能的更简单方法

为简单起见，请使用（否则，可以通过除以来重新缩放）。 $\sigma=1$ $\sigma^2$

写和。您正在要求上限。 $v=(v_1,...,v_n)^T$ $w=(w_1,...,w_n)^T$ $P(v^Tw>\epsilon N)$

令。则通过和的独立性独立于具有分布且自由度为。 $Z= w^T v/\|v\|$ $Z\sim N(0,1)$ $v,w$ $\|v\|^2$ $Z$ $\chi^2$ $n$

根据标准正态和随机变量的标准界限，与并集界结合可得出的上限为形式。 $\chi^2$

P (| Z | > ϵ \sqrt{n / 2}) \leq 2 \exp (- ϵ^{2} n / 4), P (‖ v ‖ > \sqrt{2 n}) \leq \exp (- n (\sqrt{2} - 1)^{2} / 2) .

$P(|Z|>\epsilon\sqrt{n/2})\le 2\exp(-\epsilon^2 n/4), \qquad\qquad P(\|v\|>\sqrt{2n}) \le \exp(-n(\sqrt 2 -1)^2/2).$

P (v^{T} w > ϵ N)

$P(v^Tw>\epsilon N)$

2 \exp (- ϵ^{2} n / 4) + \exp (- n (\sqrt{2} - 1)^{2} / 2)

$2\exp(-\epsilon^2 n/4) + \exp(-n(\sqrt 2 -1)^2/2)$

— 耶鲁克
source

将结合您获得的订单作为。我认为您对于一般不能做得更好。在产品变量的Wikipedia页面上，的分布为，其中是经过修改的贝塞尔函数。从DLMF功能列表中的（10.25.3）中，以便对于足够大的不会给您一个次高斯界。 $e^{-\epsilon}$ $\epsilon \to \infty$ $\epsilon$ $w_i v_i$ $K_0(z)/\pi$ $K_0$ $K_0(t) \sim e^{-t}/\sqrt{t}$ $x$ $\mathbb{P}(w_i v_i > x) \sim \int_x^\infty e^{-t}/\sqrt{t} dt$

— 预订您的运气
source