Questions tagged «probability-inequalities»

概率不等式对于限制可能难以计算的数量很有用。一个相关的概念是浓度不等式，它专门为随机变量偏离某个值的程度提供了界限。

2
概率不等式
我正在寻找无限随机变量之和的一些概率不等式。如果有人可以给我一些想法，我将不胜感激。 我的问题是找到无界iid随机变量之和（实际上是两个iid高斯的乘积）超过某个值的概率的指数上限，即，其中，和是根据。Pr[X≥ϵσ2N]≤exp(?)Pr[X≥ϵσ2N]≤exp⁡(?)\mathrm{Pr}[ X \geq \epsilon\sigma^2 N] \leq \exp(?)X=∑Ni=1wiviX=∑i=1NwiviX = \sum_{i=1}^{N} w_iv_iwiwiw_iviviv_iN(0,σ)N(0,σ)\mathcal{N}(0, \sigma) 我尝试通过矩生成函数（MGF）使用切尔诺夫界，派生界由下式给出： Pr[X≥ϵσ2N]≤=minsexp(−sϵσ2N)gX(s)exp(−N2(1+4ϵ2−−−−−−√−1+log(1+4ϵ2−−−−−−√−1)−log(2ϵ2)))Pr[X≥ϵσ2N]≤minsexp⁡(−sϵσ2N)gX(s)=exp⁡(−N2(1+4ϵ2−1+log⁡(1+4ϵ2−1)−log⁡(2ϵ2)))\begin{eqnarray} \mathrm{Pr}[ X \geq \epsilon\sigma^2 N] &\leq& \min\limits_s \exp(-s\epsilon\sigma^2 N)g_X(s) \\ &=& \exp\left(-\frac{N}{2}\left(\sqrt{1+4\epsilon^2} -1 + \log(\sqrt{1+4\epsilon^2}-1) - \log(2\epsilon^2)\right)\right) \end{eqnarray} 其中gX(s)=(11−σ4s2)N2gX(s)=(11−σ4s2)N2g_X(s) = \left(\frac{1}{1-\sigma^4 s^2}\right)^{\frac{N}{2}}是X的MGF XXX。但是界限并不是那么紧密。我的问题的主要问题是随机变量是无界的，不幸的是我无法使用霍夫丁不等式的界。 如果您能帮助我找到一些严格的指数界限，我将很高兴。
2
单边切比雪夫不等式的样本版本是否存在？
我对以下单方面的Cantelli版本的Chebyshev不等式感兴趣： P(X−E(X)≥t)≤Var(X)Var(X)+t2.P(X−E(X)≥t)≤Var(X)Var(X)+t2。 \mathbb P(X - \mathbb E (X) \geq t) \leq \frac{\mathrm{Var}(X)}{\mathrm{Var}(X) + t^2} \,. 基本上，如果您知道总体均值和方差，则可以计算观察到某个值的概率的上限。（至少这是我的理解。） 但是，我想使用样本均值和样本方差，而不是实际总体均值和方差。 我猜想，由于这会带来更多不确定性，因此上限会增加。 是否存在类似于上述的不等式，但是使用样本均值和方差？ 编辑：Chebyshev不等式（不是单面）的“样本”类似物，已经制定出来。在维基百科页面有一些细节。但是，我不确定它将如何转化为我上面提到的单面案例。
1
二项式分布函数何时高于/低于其极限泊松分布函数？
令表示二项分布函数（DF），其参数和在： \ begin {equation} B（n，p，r）= \ sum_ {i = 0} ^ r \ binom {n} {i} p ^ i（1-p）^ {ni}，\ end {equation } 和让F（\ NU，R）表示泊松DF与参数A \在\ mathbb R 2 +在评价中的R \ \ {0,1,2，\ ldots \} ： \开始{方程} F（一，r）= e ^ {-a} \ sum_ {i = 0} ^ r \ frac …
4
优惠券收集时间的下限是多少？
在经典的Coupon Collector问题中，众所周知，完成一组随机挑选的优惠券所需的时间满足，和。TTTnnnE[T]∼nlnnE[T]∼nln⁡nE[T] \sim n \ln n V一个- [R （Ť）〜ñ2Var(T)∼n2Var(T) \sim n^2镨（Ť&gt; n lnn + c n ）&lt; e− cPr(T&gt;nln⁡n+cn)&lt;e−c\Pr(T > n \ln n + cn) < e^{-c} 这个上限比切比雪夫不等式给出的上限更好，后者约为 1 / c21/c21/c^2。 我的问题是：是否有相应优于切比雪夫下限为ŤTT？（例如，类似镨（Ť&lt; n lnn − c n ）&lt; e− cPr(T&lt;nln⁡n−cn)&lt;e−c\Pr(T < n \ln n - cn) < e^{-c}）？
1
在统计学习理论中，是否存在过度拟合测试集的问题？
让我们考虑有关对MNIST数据集进行分类的问题。 根据Yann LeCun的MNIST网页，“ Ciresan等” 使用卷积神经网络在MNIST测试集上获得了0.23％的错误率。 让我们将MNIST训练集表示为，将MNIST测试集表示为，将他们使用获得的最终假设设为，并将它们在MNIST测试集上的错误率设为作为。DtrainDtrainD_{train}DtestDtestD_{test}DtrainDtrainD_{train}h1h1h_{1}h1h1h_{1}Etest(h1)=0.0023Etest(h1)=0.0023E_{test}(h_{1}) = 0.0023 在他们看来，由于是从输入空间中随机采样的测试集，而与无关，因此他们可以坚持认为，最终假设的样本外误差性能为由Hoeffding不等式界定 ，其中。DtestDtestD_{test}h1h1h_{1}Eout(h1)Eout(h1)E_{out}(h_{1})P[|Eout(h1)−Etest(h1)|&lt;ϵ|]≥1−2e2ϵ2NtestP[|Eout(h1)−Etest(h1)|&lt;ϵ|]≥1−2e2ϵ2NtesŤ P[|E_{out}(h_{1}) - E_{test}(h_{1})| < \epsilon|] \geq 1 - 2e^{2\epsilon^{2}N_{test}} ñ牛逼Ë 小号ŧ= | d牛逼Ë 小号ŧ|ñŤËsŤ=|dŤËsŤ|N_{test}=|D_{test}| 换句话说，至少为， Ë Ö ù 吨（ħ 1）≤ Ë 吨ë 小号吨（ħ 1）+ √1 - δ1-δ1-\deltaËØ ü Ť（小时1）≤ Ë牛逼Ë 小号ŧ（小时1）+ 12 N牛逼Ë 小号ŧ升Ñ 2δ---------√ËØüŤ（H1）≤ËŤËsŤ（H1）+12ñŤËsŤ升ñ2δE_{out}(h_1) \leq E_{test}(h_1) + \sqrt{{1 \over …
1
约束力矩产生功能
这个问题源于一问这里大约约束矩生成函数（MGFS）。 假设XXX是一个有界零均值随机变量承担值 [−σ,σ][−σ,σ][-\sigma, \sigma]和让G(t)=E[etX]G(t)=E[etX]G(t) = E[e^{tX}]是其MGF。从结合在Hoeffding不等式的证明使用中，我们有 G(t)=E[etX]≤eσ2t2/2G(t)=E[etX]≤eσ2t2/2G(t) = E[e^{tX}] \leq e^{\sigma^2t^2/2} 其中右侧可识别为标准偏差为σσ\sigma的零均值正常随机变量的MGF 。现在，的标准偏差XXX可以是不大于σσ\sigma，与出现的最大值时XXX是一个离散随机变量，使得 P{X=σ}=P{X=−σ}=12P{X=σ}=P{X=−σ}=12P\{X = \sigma\} = P\{X = -\sigma\} = \frac{1}{2}。因此，所谓的界限可以说是指零均值有界随机变量XXX的MGF高于零均值正常随机变量的MGF，其标准偏差等于XXX可以达到的最大可能标准偏差。有。 我的问题是：这是一个众所周知的独立利益结果，用于霍夫丁不等式的证明以外的其他地方吗？如果是这样，是否还可以用非零均值扩展到随机变量？ 的，提示这个问题结果允许不对称范围[a,b][a,b][a,b]为XXX与a&lt;0&lt;ba&lt;0&lt;ba < 0 < b但并坚持E[X]=0E[X]=0E[X] = 0。结合的是 G(t)≤et2(b−a)2/8=et2σ2max/2G(t)≤et2(b−a)2/8=et2σmax2/2G(t) \leq e^{t^2(b-a)^2/8} = e^{t^2\sigma_{max}^2/2} ，其中σmax=(b−a)/2σmax=(b−a)/2\sigma_{\max} = (b-a)/2是值限制为[a,b][a,b][a,b]的随机变量可能的最大标准偏差，但除非b=−ab=−ab = -a否则零均值随机变量不会达到该最大值 。
1
Oracle Inequality：基本而言
我正在阅读一篇使用oracle不等式证明某事的论文，但我什至无法理解它甚至试图做些什么。当我在线搜索有关“ Oracle不等式”时，一些消息源将我引向了文章“ Candes，Emmanuel J.'通过Oracle不等式的现代统计估计”。可以在这里找到https://statweb.stanford.edu/~candes/papers/NonlinearEstimation.pdf。但是这本书对我来说似乎太重了，我认为我缺少一些先决条件。 我的问题是：您如何解释非数学专业（包括工程师）的Oracle不平等？其次，在尝试学习上述书籍之类的东西之前，您将如何推荐他们去研究先决条件/主题。 我强烈建议在高维统计方面有具体把握和丰富经验的人来回答这个问题。
1
与Borel-Cantelli Lemma相关的问题
注意： Borel-Cantelli Lemma说 ∑n=1∞P(An)&lt;∞⇒P(limsupAn)=0∑n=1∞P(An)&lt;∞⇒P(limsupAn)=0\sum_{n=1}^\infty P(A_n) \lt \infty \Rightarrow P(\lim\sup A_n)=0 ∑n=1∞P(An)=∞ and An's are independent⇒P(limsupAn)=1∑n=1∞P(An)=∞ and An's are independent⇒P(limsupAn)=1\sum_{n=1}^\infty P(A_n) =\infty \textrm{ and } A_n\textrm{'s are independent} \Rightarrow P(\lim\sup A_n)=1 然后， 如果∑n=1∞P(AnAcn+1)&lt;∞∑n=1∞P(AnAn+1c)&lt;∞\sum_{n=1}^\infty P(A_nA_{n+1}^c )\lt \infty 通过使用Borel-Cantelli Lemma 我想证明 首先， limn→∞P(An)limn→∞P(An)\lim_{n\to \infty}P(A_n)存在 其次， limn→∞P(An)=P(limsupAn)limn→∞P(An)=P(limsupAn)\lim_{n\to \infty}P(A_n) =P(\lim\sup A_n) 请帮助我展示这两部分。谢谢。
1
特殊概率分布
如果是在上具有非零值的概率分布，则对于哪种类型，存在常数，使得 对于所有吗？p(x)p(x)p(x)[0,+∞)[0,+∞)[0,+\infty)p(x)p(x)p(x)c&gt;0c&gt;0c\gt 0∫∞0p(x)logp(x)(1+ϵ)p(x(1+ϵ))dx≤cϵ2∫0∞p(x)log⁡p(x)(1+ϵ)p(x(1+ϵ))dx≤cϵ2\int_0^{\infty}p(x)\log{\frac{ p(x)}{(1+\epsilon)p({x}(1+\epsilon))}}dx \leq c \epsilon^20&lt;ϵ&lt;10&lt;ϵ&lt;10\lt\epsilon\lt 1 上面的不等式实际上是分布及其压缩版本之间的Kullback-Leibler散度。我发现这种不等式适用于指数分布，伽玛分布和威布尔分布，并且我想知道这是否适用于更大的概率分布类别。（1 + ϵ ） p （x （1 + ϵ ））p(x)p(x)p(x)(1+ϵ)p(x(1+ϵ))(1+ϵ)p(x(1+ϵ)){(1+\epsilon)}p({x}{(1+\epsilon)}) 知道不平等意味着什么吗？
3
关于概率收敛
让{Xn}n≥1{Xn}n≥1\{X_n\}_{n\geq 1}是随机变量ST的序列Xn→aXn→aX_n \to a在概率，其中a&gt;0a&gt;0a>0是固定不变的。我正在尝试显示以下内容： Xn−−−√→a−−√Xn→a\sqrt{X_n} \to \sqrt{a} 和 aXn→1aXn→1\frac{a}{X_n}\to 1 的概率均相同。我在这里看看我的逻辑是否正确。这是我的工作 尝试 对于第一部分，我们有 |Xn−−−√−a−−√|&lt;ϵ⟸|Xn−a|&lt;ϵ|Xn−−−√+a−−√|=ϵ|(Xn−−−√−sqrta)+2a−−√||Xn−a|&lt;ϵ⟸|Xn−a|&lt;ϵ|Xn+a|=ϵ|(Xn−sqrta)+2a||\sqrt{X_n}-\sqrt{a}|<\epsilon \impliedby |X_n-a|<\epsilon|\sqrt{X_n}+\sqrt{a}|=\epsilon|(\sqrt{X_n}-sqrt{a})+2\sqrt{a}| ≤ϵ|Xn−−−√−a−−√|+2ϵa−−√&lt;ϵ2+2ϵa−−√≤ϵ|Xn−a|+2ϵa&lt;ϵ2+2ϵa\leq \epsilon|\sqrt{X_n}-\sqrt{a}|+2\epsilon\sqrt{a}<\epsilon^2+2\epsilon\sqrt{a} 注意， ϵ2+2ϵa−−√&gt;ϵa−−√ϵ2+2ϵa&gt;ϵa\epsilon^2+2\epsilon\sqrt{a}>\epsilon\sqrt{a} 则 P(|Xn−−−√−a−−√|≤ϵ)≥P(|Xn−a|≤ϵa−−√)→1asn→∞P(|Xn−a|≤ϵ)≥P(|Xn−a|≤ϵa)→1asn→∞P(|\sqrt{X_n}-\sqrt{a}|\leq \epsilon)\geq P(|X_n-a|\leq \epsilon\sqrt{a})\to 1 \;\;as\;n\to\infty ⟹Xn−−−√→a−−√inprobability⟹Xn→ainprobability\implies \sqrt{X_n}\to\sqrt{a} \;\;in\;probability 对于第二部分，我们有 现在，由于 X n → a为 n → ∞，我们得到 X n是有界序列。换句话说，存在一个实数中号&lt; ∞ ST | X n | ≤ 中号。因此， | …
3
指数上限
假设我们有分布为 IID随机变量。我们要观察的样本的下列方式：让独立随机变量，假定所有的的和的是独立的，并定义样本大小。该的指示哪个的的是样本中，我们要研究成功的比例所规定的样品中 X1,…,XnX1,…,XnX_1,\dots,X_nBer(θ)Ber(θ)\mathrm{Ber}(\theta)XiXiX_iY1,…,YnY1,…,YnY_1,\dots,Y_nBer(1/2)Ber(1/2)\mathrm{Ber}(1/2)XiXiX_iYiYiY_iN=∑ni=1YiN=∑i=1nYiN=\sum_{i=1}^n Y_iYiYiY_iXiXiX_iZ={1N∑ni=1XiYi0ifN&gt;0,ifN=0.Z={1N∑i=1nXiYiifN&gt;0,0ifN=0. Z = \begin{cases} \frac{1}{N}\sum_{i=1}^n X_i Y_i & \text{if}\quad N > 0\, , \\ 0 & \text{if} \quad N = 0 \, . \end{cases} 对于，我们想找到的上界，该上界随呈指数衰减。由于变量之间的依赖性，Hoeffding的不等式不能立即应用。P rϵ&gt;0ϵ&gt;0\epsilon>0 ñPr(Z≥θ+ϵ)Pr(Z≥θ+ϵ)\mathrm{Pr}\!\left(Z \geq \theta + \epsilon\right)nnn
1
了解测量浓度不均
本着这个问题的精神，我理解在霍夫丁不等式中使用的引理的证明，我试图理解导致霍夫丁不等式的步骤。 在证明中，对我而言最神秘的是为iid变量之和计算指数矩的那部分，然后应用Markov不等式。 我的目标是了解：为什么这种技术会带来严重的不平等，这是我们可以实现的最严格的吗？一个典型的解释是关于指数的矩产生特性。但是，我觉得这太含糊了。 Tao的博客中的帖子http://terrytao.wordpress.com/2010/01/03/254a-notes-1-concentration-of-measure/#hoeff可能会提供一些答案。 考虑到这一目标，我的问题是我停留在涛的帖子中的三点，希望我能在解释后给我以启发。 Tao使用第k个矩 如果对于任何k都成立，则他得出指数界。这是我迷路的地方。 P（|小号Ñ|≥λ√P(|Sn|≥λn−−√)≤2(ek/2−−−−√λ)k. (7)P(|Sn|≥λn)≤2(ek/2λ)k. (7)\displaystyle {\bf P}( |S_n| \geq \lambda \sqrt{n} ) \leq 2 (\frac{\sqrt{ek/2}}{\lambda})^k. \ \ \ \ \ (7)P（ | Sñ| ≥λ Ñ--√）≤ Ç经验值（- Ç λ2）（8 ） P(|Sn|≥λn)≤Cexp⁡(−cλ2) (8)\displaystyle {\bf P}( |S_n| \geq \lambda \sqrt{n} ) \leq C \exp( - c \lambda^2 ) …
1
了解Hoeffding不等式中使用的引理的证明
我正在学习拉里·瓦瑟曼（Larry Wasserman）关于统计学的讲义，该讲义以卡塞拉（Casella）和伯格（Berger）为主要教材。我正在研究他的讲义集2，并陷入了霍夫丁不等式中使用引理的推论（第2-3页）。我将在下面的注释中复制证明，在证明之后，我将指出我被卡在的地方。 引理 假设，并且。然后 。E(X)=0E(X)=0\mathbb{E}(X) = 0a≤X≤ba≤X≤b a \le X \le bE(etX)≤et2(b−a)2/8E(etX)≤et2(b−a)2/8\mathbb{E}(e^{tX}) \le e^{t^2 (b-a)^2/8} 证明 由于，我们可以写为的凸组合和，即 其中。通过函数凸性，我们得到a≤X≤ba≤X≤ba \le X \le bXXXaaabbbX=αb+(1−α)aX=αb+(1−α)aX = \alpha b + (1 - \alpha) aα=X−ab−aα=X−ab−a\alpha = \frac{X-a}{b-a}y→etyy→etyy \to e^{ty} etX≤αetb+(1−α)eta=X−ab−aetb+b−Xb−aetaetX≤αetb+(1−α)eta=X−ab−aetb+b−Xb−aetae^{tX} \le \alpha e^{tb} + (1 - \alpha) e^{ta} = \frac{X-a}{b-a} e^{tb} + \frac{b-X}{b-a} e^{ta} 取得双方的期望并使用事实来获得E(X)=0E(X)=0\mathbb{E}(X) …
2
凸序是否暗示着右尾优势？
给定两个连续分布FXFX\mathcal{F}_X和FYFY\mathcal{F}_Y，我不清楚它们之间的凸优势地位之间的关系： (0)FX&lt;cFY(0)FX&lt;cFY(0)\quad \mathcal{F}_X <_c \mathcal{F}_Y 暗示 (1)F−1Y(q)≤F−1X(q),∀q∈[0.5,1](1)FY−1(q)≤FX−1(q),∀q∈[0.5,1](1)\quad F_Y^{-1}(q) \leq F_X^{-1}(q),\quad \forall q\in[0.5,1] 是否成立，或者如果需要进一步假设(1)(1)(1)？ 凸优势的定义。 如果两个连续分布FXFX\mathcal{F}_X和FYFY\mathcal{F}_Y满足： (2)F−1YFX(x) is convex in x(2)FY−1FX(x) is convex in x(2)\quad F_Y^{-1}F_X(x)\text{ is convex in } x [0]然后我们写： FX&lt;cFYFX&lt;cFYF_X <_c F_Y 并说比F X更右偏。因为F X和F Y是概率分布，所以（2 ）还暗示F − 1 Y F X（x ）的导数是单调非递减且非负的[1]，即 F − 1 Y F …
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.