假设我们有分布为 IID随机变量。我们要观察的样本的下列方式:让独立随机变量,假定所有的的和的是独立的,并定义样本大小。该的指示哪个的的是样本中,我们要研究成功的比例所规定的样品中
假设我们有分布为 IID随机变量。我们要观察的样本的下列方式:让独立随机变量,假定所有的的和的是独立的,并定义样本大小。该的指示哪个的的是样本中,我们要研究成功的比例所规定的样品中
Answers:
我们可以用相当直接的方式将其与霍夫丁不等式联系起来。
请注意,我们有
设置使得是iid,且 通过直接应用Hoeffding不等式(因为,因此取值间隔为1)。ž 我ë ž 我 = 0 P(ż > θ + ε )= P (Σ我 ž 我 > Ñ ε / 2 ) ≤ ë - ñ ε 2 / 2ž 我 ∈ [ - θ - ε / 2 ,1 - θ - ε / 2 ]
在过去的几年中,已经建立了丰富而引人入胜的相关文献,特别是与随机矩阵理论相关的主题以及各种实际应用。如果您对这种事情感兴趣,我强烈建议:
R. Vershynin,随机矩阵的非渐近分析简介,压缩感测,理论和应用第5章。由Y. Eldar和G. Kutyniok编辑。剑桥大学出版社,2012年。
我认为博览会很清楚,并且提供了一种很好的方法来快速适应文献。
这个答案不断变化。当前版本与我在评论中与@cardinal进行的讨论无关(尽管很幸运,通过这次讨论,我意识到调节方法似乎并没有带到任何地方)。
对于此尝试,我将使用Hoeffding的1963年原始论文的另一部分,即第5节“相关随机变量的总和”。
设置
而我们设置如果。
然后我们有变量
我们对可能性感兴趣
至于其他许多不等式,霍夫丁首先指出 ,然后
对于因变量的情况,如Hoeffding那样,我们使用的事实并为(凸)指数函数调用Jensen不等式来写
并链接结果以得出
针对我们的情况,由于和是独立的,因此期望值可以分开,
在我们的情况下,是参数 iid Bernoullis ,而是它们在的公共矩生成函数,。所以
相对于最小化RHS ,我们得到
将其插入不等式并进行操纵,我们得到
而
霍夫丁表明
由OP提供(感谢,我有点精疲力尽...)
因此,最后,“因变量方法”给我们
让我们将其与Cardinal的边界进行比较,该边界基于“独立”转换。为了使我们更紧密,我们需要
因此,对于我们有。对于,很快变得比紧,但是对于非常小的,即使这个小的“窗口”也迅速收敛到零。例如,对于,如果,则更严格。因此,总的来说,红衣主教的界限更有用。 乙d ≤ 乙我 Ñ ≥ 5 乙我乙d ε Ñ = 12 ε ≥ 0.008 乙我
注释
为了避免对Hoeffding的原始论文产生误导性印象,我不得不提到Hoeffding研究了因变量随机性的确定性凸组合的情况。具体来说,他的是数字,而不是随机变量,而每个是独立随机变量的总和,而之间可能存在依赖关系。然后,他考虑了可以用这种方式表示的各种“ U统计量”。X 我X 我