指数上限


12

假设我们有分布为 IID随机变量。我们要观察的样本的下列方式:让独立随机变量,假定所有的的和的是独立的,并定义样本大小。该的指示哪个的的是样本中,我们要研究成功的比例所规定的样品中 X1,,XnBer(θ)XiY1,,YnBer(1/2)XiYiN=i=1nYiYiXi

Z={1Ni=1nXiYiifN>0,0ifN=0.
对于,我们想找到的上界,该上界随呈指数衰减。由于变量之间的依赖性,Hoeffding的不等式不能立即应用。P rϵ>0 ñPr(Zθ+ϵ)n

1
令。(i)不独立于吗?(ii)吗?...因此,我不清楚不是不是“独立随机变量之和”Zi=1NXiYiZiZjiZ=ZiZ
Glen_b -Reinstate Monica 2014年

啊,好点。我在想,而不是。但是,您能否改写,然后让吗?也就是说,将所有情况相加,无论是1还是0。...不,这是行不通的。分子是相同的,但分母是不同的。N Z i = 1nNZ= n i = 1 ZiYZi=1nXiYiZ=i=1nZiY
Glen_b-恢复莫妮卡2014年

因为,因为。 Ñ Ñ(1/n)i=1nXiYi(1/N)i=1nXiYiNn
2014年

1
是的,这就是为什么我以“不行不行”结尾。有一些不平等现象适用于非独立案例,例如伯恩斯坦的一些不平等现象(请参见第四项),并且有许多不平等现象适用于mar(尽管我不知道这些将在这里适用)。
Glen_b-恢复莫妮卡2014年

1
我会看一下,还尝试找到与the结果有关的方法。结合的用于是那么容易()试图使用某种条件将其与连接。P - [R Û θ / 2 + ε EXP - 2 Ñ ε 2ŽU=(1/n)i=1nXiYiPr(Uθ/2+ϵ)exp(2nϵ2)Z
2014年

Answers:


16

我们可以用相当直接的方式将其与霍夫丁不等式联系起来

请注意,我们有

{Z>θ+ϵ}={iXiYi>(θ+ϵ)iYi}={i(Xiθϵ)Yi>0}.

设置使得是iid,且 通过直接应用Hoeffding不等式(因为,因此取值间隔为1)。ž ë ž = 0 Pż > θ + ε = P Σ ž > Ñ ε / 2 ë - ñ ε 2 / 2Zi=(Xiθϵ)Yi+ϵ/2ZiEZi=0ž [ - θ - ε / 2 1 - θ - ε / 2 ]

P(Z>θ+ϵ)=P(iZi>nϵ/2)enϵ2/2,
Zi[θϵ/2,1θϵ/2]

在过去的几年中,已经建立了丰富而引人入胜的相关文献,特别是与随机矩阵理论相关的主题以及各种实际应用。如果您对这种事情感兴趣,我强烈建议:

R. Vershynin,随机矩阵的非渐近分析简介,压缩感测,理论和应用第5章。由Y. Eldar和G. Kutyniok编辑。剑桥大学出版社,2012年。

我认为博览会很清楚,并且提供了一种很好的方法来快速适应文献。


1
由于在其定义中包含,因此我的印象是(范围不变)。 ε / 2 ž [ - θ - ε / 2 1 - θ - ε / 2 ]Ziϵ/2Zi[θϵ/2,1θϵ/2]
Alecos Papadopoulos

1
亲爱的@Zen:请注意,仔细考虑情况将使您到处都可以用替换严格的不等式,而不会更改最终界限。> N=0>
主教

亲爱的@cardinal:我已改掉这个问题,因为实际上是的(略)有偏估计量,因为。θ ë [ Ž ] = ë [ { Ñ = 0 } ž ] + ë [ { Ñ > 0 } ž ] = 1 - 1 / 2 ÑZθE[Z]=E[I{N=0}Z]+E[I{N>0}Z]=(11/2n)θ
2014年

6

情况要注意的细节。N=0

{Zθ+ϵ}=({Zθ+ϵ}{N=0})({Zθ+ϵ}{N>0})=({0θ+ϵ}{N=0})({Zθ+ϵ}{N>0})=({N=0})({Zθ+ϵ}{N>0})={i=1nXiYi(θ+ϵ)i=1nYi}{N>0}{i=1nXiYi(θ+ϵ)i=1nYi}={i=1n(Xiθϵ)Yi0}={i=1n((Xiθϵ)Yi+ϵ/2)nϵ/2}.

对于Alecos。

E[i=1nWi]=E[I{i=1nYi=0}i=1nWi]+E[I{i=1nYi>0}i=1nWi]=E[I{i=1nYi>0}i=1nYii=1nYi]=E[I{i=1nYi>0}]=11/2n.

5

这个答案不断变化。当前版本与我在评论中与@cardinal进行的讨论无关(尽管很幸运,通过这次讨论,我意识到调节方法似乎并没有带到任何地方)。

对于此尝试,我将使用Hoeffding的1963年原始论文的另一部分,即第5节“相关随机变量的总和”。

设置

WiYii=1nYi,i=1nYi0,i=1nWi=1,n2

而我们设置如果。Wi=0i=1nYi=0

然后我们有变量

Zn=i=1nWiXi,E(Zn)μn

我们对可能性感兴趣

Pr(Znμn+ϵ),ϵ<1μn

至于其他许多不等式,霍夫丁首先指出 ,然后

Pr(Znμn+ϵ)=E[1{Znμnϵ0}]

1{Znμnϵ0}exp{h(Znμnϵ)},h>0

对于因变量的情况,如Hoeffding那样,我们使用的事实并为(凸)指数函数调用Jensen不等式来写i=1nWi=1

ehZn=exp{h(i=1nWiXi)}i=1nWiehXi

并链接结果以得出

Pr(Znμn+ϵ)eh(μn+ϵ)E[i=1nWiehXi]

针对我们的情况,由于和是独立的,因此期望值可以分开,WiXi

Pr(Znμn+ϵ)eh(μn+ϵ)i=1nE(Wi)E(ehXi)

在我们的情况下,是参数 iid Bernoullis ,而是它们在的公共矩生成函数,。所以XiθE[ehXi]hE[ehXi]=1θ+θeh

Pr(Znμn+ϵ)eh(μn+ϵ)(1θ+θeh)i=1nE(Wi)

相对于最小化RHS ,我们得到h

eh=(1θ)(μn+ϵ)θ(1μnϵ)

将其插入不等式并进行操纵,我们得到

Pr(Znμn+ϵ)(θμn+ϵ)μn+ϵ(1θ1μnϵ)1μnϵi=1nE(Wi)

Pr(Znθ+ϵ)(θθ+ϵ)θ+ϵ(1θ1θϵ)1θϵi=1nE(Wi)

霍夫丁表明

(θθ+ϵ)θ+ϵ(1θ1θϵ)1θϵe2ϵ2

由OP提供(感谢,我有点精疲力尽...)

i=1nE(Wi)=11/2n

因此,最后,“因变量方法”给我们

Pr(Znθ+ϵ)(112n)e2ϵ2BD

让我们将其与Cardinal的边界进行比较,该边界基于“独立”转换。为了使我们更紧密,我们需要BI

BD=(112n)e2ϵ2enϵ2/2=BI

2n12nexp{(4n2)ϵ2}

因此,对于我们有。对于,很快变得比紧,但是对于非常小的,即使这个小的“窗口”也迅速收敛到零。例如,对于,如果,则更严格。因此,总的来说,红衣主教的界限更有用。 d Ñ 5 d ε Ñ = 12 ε 0.008 n4BDBIn5BIBDϵn=12ϵ0.008BI

注释
为了避免对Hoeffding的原始论文产生误导性印象,我不得不提到Hoeffding研究了因变量随机性的确定性凸组合的情况。具体来说,他的是数字,而不是随机变量,而每个是独立随机变量的总和,而之间可能存在依赖关系。然后,他考虑了可以用这种方式表示的各种“ U统计量”。X X WiXiXi


Alecos:(请看我答案末尾的推导)。您的界限不会像基数那样随呈指数衰减。ÑE[W1]=(11/2n)/nn

@Zen确实(事实上,它虽然随样本数量的增加而随样本数量的增加增加),这就是为什么Cardinal的边界对大多数样本数量更有用。
Alecos Papadopoulos
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.