具有非零渐近方差的渐近一致性-它代表什么?


18

这个问题以前已经提出过,但是我想问一个具体的问题,试图得出一个可以澄清(和分类)它的答案:

在“穷人的无症状”中,

  • (a)概率收敛为常数的一系列随机变量

与之相反

  • (b)一系列随机变量,其概率收敛于一个随机变量(因此分布于该变量)。

但是在“智者的渐近”中,我们也可以

  • (c)一系列随机变量,它们的概率收敛到一个常数,同时在极限处保持非零方差。

我的问题是(从下面我自己的探索性答案中窃取):

我们如何才能理解渐近一致但具有非零的有限方差的估计量?这种差异反映了什么?它的行为与“通常的”一致估计量有何不同?

与(c)中描述的现象相关的线程(另请参见注释):


大写“穷人的渐近症”的方式使我认为我一定缺少参考的知识(或者可能已经看过但忘记了,这几乎是相同的);实际的书籍或论文,甚至可能只是文化参考。我知道“穷人的数据增强”(Tanner和Wei),但我认为这与您所获得的内容无关。我想念什么?
Glen_b-恢复莫妮卡2014年

@Glen_B您什么都不会错过-我只是用这个术语来对比像我这样的人与像红衣主教这样的人所拥有的(渐进理论)的知识水平。资本化只是一种营销策略。
Alecos Papadopoulos

Answers:


8

2014年10月27日:不幸的是(对我来说),到目前为止,还没有人提供答案-也许是因为这看起来像是一个奇怪的“病理性”理论问题,仅此而已?

为用户Cardinal引用一个评论(我将在后面进行探讨)

“这是一个很荒谬但很简单的例子。这个想法是为了确切说明可能出问题的地方和原因。它确实有实际的应用(我强调)。例子:考虑具有有限第二矩的典型iid模型。设其中与 和独立,概率分别为,否则为零,且任意值则是无偏的,方差在下面通过和几乎可以肯定(这是非常一致的)。 ŽÑ ˉ X ÑŽÑ=±一个ñ1/Ñθ^n=X¯n+ZnZnX¯nZn=±an> 0 θ Ñ 一个2 θ Ñ →交通μ1/n2a>0θ^na2θ^nμ

这里特立独行的随机变量是,所以让我们看看我们能怎么说。 变量具有对应的概率支持。它围绕零对称,所以我们有Zn
{ 1 / Ñ 21 - 2 / Ñ 21 / Ñ 2 }{an,0,an}{1/n2,12/n2,1/n2}

E(Zn)=0,Var(Zn)=(an)2n2+0+(an)2n2=2a2

这些时刻不依赖于所以我想我们可以简单地写n

limnE(Zn)=0,limnVar(Zn)=2a2

在《穷人的渐近》中,我们知道矩极限等于极限分布矩的条件。如果有限个案分布的第阶矩收敛为常数(与我们的情况一样),那么,此外,r

δ>0:limsupE(|Zn|r+δ)<

第矩的极限将是极限分布的第矩。就我们而言[Rrr

E(|Zn|r+δ)=|an|r+δn2+0+|an|r+δn2=2ar+δnr+δ2

对于对于任何,它都发散,因此,对于方差而言,此充分条件不成立(对于均值,它确实成立)。 用另一种方式:的渐近分布是什么?的CDF是否会收敛到极限的非简并CDF?δ > 0 ž Ñ ž Ñr2δ>0
ZnZn

看起来好像不是这样:限制支持为(如果允许我们编写),以及相应的概率。对我来说似乎是一个常数。 但是,如果我们一开始就没有限制分布,那我们该如何谈论它的时刻呢? { 0 1 0 }{,0,}{0,1,0}

然后,回到估算器,由于也收敛为一个常数,因此看起来 ˉ X Ñθ^nX¯n

θ^n没有(非平凡的)极限分布,但是在极限处确实有方差。或者,也许这个方差是无限的?但是具有恒定分布的无限方差?

我们如何理解这一点?关于估计量,它告诉我们什么?和之间的本质区别是什么?θ Ñ= ˉ X Ñθ^n=X¯n+Znθ~n=X¯n


愚蠢的参考要求:您是否有一个(好的)来源:“如果第r个矩收敛到一个常数,那么所有索引小于r的矩都收敛到极限分布的矩?”。我知道这是真的,但我从未找到过很好的消息来源
Guillaume Dehaene 2015年

其次,在这种情况下无法使用您尝试使用的定理:对于r = 2(这是您要使用的情况:您想证明方差收敛),对于任何严格为正的, diverge!Ë | ž ñ | [R + δδE(|Zn|r+δ
Guillaume Dehaene 2015年

也许以某种方式ping @cardinal(在聊天中?)会很好,以便他加入此讨论。
变形虫说恢复莫妮卡2015年

@amoeba Cardinal是一个估算器,在这里可以得出真实的答案,但我记得过去曾尝试使他参与其中,但没有成功。
Alecos Papadopoulos

@GuillaumeDehaene参考文献是AW Van der Vaart(1998)“渐近统计”,ch。2.5“瞬间收敛”。作为定理2.20的示例2.21给出。你是对的:我的印象是,对于有限来说,有界是足够的-但是,limsup必须是有限的。我正在更正我的帖子。n
Alecos Papadopoulos

7

对于您的问题,我不会给出非常令人满意的答案,因为在我看来,这有点太开放了,但是让我尝试阐明为什么这个问题很难解决。

我认为您在为我们在概率分布和随机变量上使用的常规拓扑不好是一个难题。我在我的博客上写了一篇更大的文章,但让我尝试总结一下:您可以在弱(和总变异)意义上进行融合,同时违反关于融合意味着什么的常识性假设。

例如,您可以在弱拓扑中向常数收敛,同时方差= 1(这正是序列正在执行的操作)。然后,存在一个极限分布(在弱拓扑中),该极限分布是这种怪异的随机变量,在大多数情况下,该变量等于0,但无限地很少等于无穷大。Zn

我个人认为这是指弱拓扑(以及总变异拓扑)是一个较差的收敛概念,应将其丢弃。我们实际使用的大多数收敛要强于此。但是,我真的不知道应该使用什么来代替弱拓扑。

如果您真的想找到和之间的本质区别,这是我的看法:两种估计值都等于[0,1]损耗(当错误的大小无关紧要)。但是,如果错误的大小很重要,会更好,因为有时会灾难性地失败。θ = ˉ X θ θθ^=X¯+Znθ~=X¯θ~θ^


2

如果估算器“爆炸”的概率很小,则估算器的概率是一致的,但在MSE中不是。尽管有一个有趣的数学好奇心,但出于任何实际目的,这都不应打扰您。出于任何实际目的,估算器都具有有限的支持,因此无法爆炸(现实世界并非无限小,也不大)。

如果您仍然希望对“真实世界”进行连续逼近,并且您的逼近是在概率上收敛而不是在MSE中收敛,则应按原样进行:您的估计量可以是正确的,具有任意大的概率,但是爆炸的机会总是很小。幸运的是,当它这样做时,您会注意到,因此,您可以信任它。:-)


我的印象是确实收敛于均方,因为LIMë θ 2=2一个2θ^=X¯+Zn
limE(θ^2)=2a2
Alecos Papadopoulos

该问题专门涉及对估计量的解释,该估计量以概率而非MSE收敛(由于方差未消失)。
JohnRos

您是对的,我只是将加号与减号混淆了。
Alecos Papadopoulos
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.