Questions tagged «asymptotics»

渐近理论研究样本量接近无穷大时估计量和检验统计量的性质。

4
是否存在三阶渐近线?
统计中的大多数渐近结果证明,当n→∞n→∞n \rightarrow \infty,基于似然函数的二阶泰勒展开,估计量(例如MLE)收敛到正态分布。我相信在贝叶斯文学中也有类似的结果,即“贝叶斯中心极限定理”,它表明后验渐近收敛为n → ∞的法线。n→∞n→∞n \rightarrow \infty 我的问题是-根据泰勒级数的第三项,分布是否收敛到正态“之前”?还是一般不可能做到这一点?

1
REML是否存在贝叶斯解释?
是否存在REML的贝叶斯解释?根据我的直觉,REML与所谓的经验贝叶斯估计程序非常相似,我想知道是否已经证明了某种渐近等价性(例如,在某种合适的先验条件下)。例如,经验贝叶斯和REML都似乎是面对麻烦参数而采取的“折衷”估计方法。 主要是,我通过这个问题寻求的是这种观点倾向于产生的高级洞察力。当然,如果不能出于某种原因对REML 进行这种性质的论证,那么对为什么这样做的解释也将提供令人欢迎的见解!

4
对一致和渐近无偏的区别的直觉理解
我试图对“一致”和“渐近无偏”一词之间的区别和实际区别获得直观的理解和感觉。我知道他们的数学/统计定义,但是我正在寻找直观的东西。在我看来,看看他们的个人定义,他们几乎是同一回事。我意识到差异一定很细微,但我看不到。我试图将差异可视化,但不能做到。有人可以帮忙吗?

3
为什么对于正态分布数据,Wilcoxon检验的渐进相对效率与Student的t检验相比?
众所周知,如果数据来自正态分布总体,则Wilcoxon符号秩检验的渐近相对效率(ARE)与Student t检验相比为。基本的一样本测试和两个独立样本的变体(Wilcoxon-Mann-Whitney U)都是如此。对于正常数据,与ANOVA F检验相比,它也是Kruskal-Wallis检验的ARE 。3π≈0.9553π≈0.955\frac{3}{\pi} \approx 0.955 这个显着的结果(对我来说,是ππ\pi的“ 最意外的外观之一 ”)和非常简单的结果是否有深刻的,显着的或简单的证明?

1
大样本渐近/理论-为什么要关心?
我希望这个问题不会被标记为“过于笼统”,并希望开始进行有益于所有人的讨论。 在统计中,我们花费大量时间来学习大型样本理论。我们对评估我们的估计量的渐近性质非常感兴趣,包括它们是否渐近无偏,渐近有效,它们的渐近分布等。渐近这个词与的假设紧密相关。n→∞n→∞n \rightarrow \infty 但是,实际上,我们总是处理有限的。我的问题是:nnn 1)大样本是什么意思?我们如何区分大样本? 2)当我们说,我们的字面意思是应该去吗?ñ ∞n→∞n→∞n \rightarrow \inftynnn∞∞\infty 例如对于二项分布,大约需要n = 30才能收敛到CLT下的正态分布。我们应该是还是在这种情况下为,是30或更多? Ñ→交通∞∞X¯X¯\bar{X}n→∞n→∞n \rightarrow \infty∞∞\infty 3)假设我们有一个有限的样本,并假设我们了解估计量的渐近行为的所有知识。所以呢?假设我们的估计量是渐近无偏的,那么我们在有限样本中是否对感兴趣​​的参数有一个无偏的估计,或者这意味着如果我们有,那么我们将有一个无偏的估计?n→∞n→∞n \rightarrow \infty 从上面的问题中可以看到,我试图理解“大样本渐近”背后的哲学,并了解我们为什么在乎?我需要对所学的定理有一些直觉。

2
轮廓似然的Hessian用于标准误差估计
这个问题是由这个问题引起的。我查找了两个来源,这就是我发现的内容。 A. van der Vaart,渐进统计: 几乎不可能显式计算轮廓似然,但其数值评估通常是可行的。然后,轮廓似然可用于减小似然函数的维数。轮廓似然函数通常以与参数模型的(普通)似然函数相同的方式使用。除了上述的最大的他们的点作为估计,在二阶导数用作的估计减去e的渐近协方差矩阵的逆矩阵。最近的研究似乎证实了这种做法。 θθ^θ^\hat\thetaθ^θ^\hat\theta J. Wooldridge,《截面和面板数据的计量经济学分析》(两个版本均相同): 作为研究渐近性质的设备,由于通常取决于所有,因此集中目标函数的值是有限的,在这种情况下,目标函数不能写为独立的,均匀分布的求和的和。当我们从某些非线性面板数据模型集中特定于个体的效果时,就会出现一种方程式(12.89)是iid函数之和的设置。此外,集中目标函数对于建立看似不同的估算方法的等效性可能很有用。WG(W,β)g(W,β)g(W,\beta)w ^WW Wooldridge在更广泛的M估计量上下文中讨论了这个问题,因此它也适用于最大似然估计量。 因此,对于同一个问题,我们得到两个不同的答案。我认为魔鬼在于细节。对于某些模型,对于某些模型,我们可以安全地使用轮廓似然的hessian。是否有任何一般结果为我们何时(或不能这样做)提供条件?

1
即使模型不正确,MLE估计也渐近正常且有效吗?
前提:这可能是一个愚蠢的问题。我只知道有关MLE渐近性质的陈述,但我从未研究过证明。如果我这样做了,也许我不会问这些问题,或者我可能会意识到这些问题没有道理...所以请对我轻松一点:) 我经常看到这样的说法:模型参数的MLE估计量渐近是正常且有效的。该声明通常写为 ñ→∞θ^→dN(θ0,I(θ0)−1)θ^→dN(θ0,I(θ0)−1)\hat{\theta}\xrightarrow[]{d}\mathcal{N}(\theta_0,\mathbf{I}(\theta_0)^{-1})为N→∞N→∞N\to\infty 其中是样本数,是Fisher信息,是参数(向量)true值。现在,由于引用了真实模型,这是否意味着如果模型不真实,结果将不成立吗?我θ 0NNNII\mathbf{I}θ0θ0\theta_0 示例:假设我将风力涡轮机功率输出建模 为风速与加性高斯噪声的函数VPPPVVV P=β0+β1V+β2V2+ϵP=β0+β1V+β2V2+ϵP=\beta_0+\beta_1V+\beta_2V^2+\epsilon 我知道这个模式是错误的,至少有两个方面的原因:1)是真的成正比的第三电源和2)错误不是添加剂,因为我忽略未与风速不相关的其他预测(我也知道该应该是0,因为在0风速不发电,但在这里这是不相关)。现在,假设我有一个来自风力涡轮机的功率和风速数据的无限数据库。我可以画任意数量的任意大小的样本。假设我绘制了1000个样本,每个样本的大小为100,并计算\ hat {\ boldsymbol {\ beta}} _ {100},\ boldsymbol {\ beta} =(\ beta_0,\ beta_1,\ beta_2)的MLE估计V β 0PPPVVVβ0β0\beta_0β^100β^100\hat{\boldsymbol{\beta}}_{100}β=(β0,β1,β2)β=(β0,β1,β2)\boldsymbol{\beta}=(\beta_0,\beta_1,\beta_2)(在我的模型下,这只是OLS的估算值)。因此,我从\ hat {\ boldsymbol {\ beta}} _ {100}的分布中获得了1000个样本β^100β^100\hat{\boldsymbol{\beta}}_{100}。我可以用N = 500,1000,1500,\ dots重复练习N=500,1000,1500,…N=500,1000,1500,…N=500,1000,1500,\dots。由于N→∞N→∞N\to\infty,\ hat {\ boldsymbol {\ beta}} _ {N}的分布是否应β^Nβ^N\hat{\boldsymbol{\beta}}_{N}趋于渐近正态分布,且具有均值和方差?还是模型不正确的事实会使该结果无效? 我问的原因是,很少(如果有的话)模型在应用程序中是“真实的”。如果在模型不正确时失去MLE的渐近特性,则可能有必要使用不同的估计原理,虽然在模型正确的情况下其功能不那么强大,但在其他情况下可能会比MLE更好。 编辑:在评论中指出,真实模型的概念可能有问题。我想到了以下定义:给定一个模型族由参数矢量,对于该族中的每个模型,您始终可以编写 fθ(x)fθ(x)f_{\boldsymbol{\theta}}(x)θθ\boldsymbol{\theta} Y=fθ(X)+ϵY=fθ(X)+ϵY=f_{\boldsymbol{\theta}}(X)+\epsilon 只需将定义为。但是,通常该误差不会与正交,平均值为0,并且不一定会在模型推导中具有假定的分布。如果存在一个,使得具有这两个属性以及假定的分布,我会说该模型是正确的。我认为这与说直接相关,因为分解中的误差项ϵϵ\epsilonY−fθ(X)Y−fθ(X)Y-f_{\boldsymbol{\theta}}(X)XXXθ0θ0\boldsymbol{\theta_0}ϵϵ\epsilonfθ0(X)=E[Y|X]fθ0(X)=E[Y|X]f_{\boldsymbol{\theta_0}}(X)=E[Y|X] Y=E[Y|X]+ϵY=E[Y|X]+ϵY=E[Y|X]+\epsilon 具有上述两个属性。

3
关于概率收敛
让{Xn}n≥1{Xn}n≥1\{X_n\}_{n\geq 1}是随机变量ST的序列Xn→aXn→aX_n \to a在概率,其中a&gt;0a&gt;0a>0是固定不变的。我正在尝试显示以下内容: Xn−−−√→a−−√Xn→a\sqrt{X_n} \to \sqrt{a} 和 aXn→1aXn→1\frac{a}{X_n}\to 1 的概率均相同。我在这里看看我的逻辑是否正确。这是我的工作 尝试 对于第一部分,我们有 |Xn−−−√−a−−√|&lt;ϵ⟸|Xn−a|&lt;ϵ|Xn−−−√+a−−√|=ϵ|(Xn−−−√−sqrta)+2a−−√||Xn−a|&lt;ϵ⟸|Xn−a|&lt;ϵ|Xn+a|=ϵ|(Xn−sqrta)+2a||\sqrt{X_n}-\sqrt{a}|<\epsilon \impliedby |X_n-a|<\epsilon|\sqrt{X_n}+\sqrt{a}|=\epsilon|(\sqrt{X_n}-sqrt{a})+2\sqrt{a}| ≤ϵ|Xn−−−√−a−−√|+2ϵa−−√&lt;ϵ2+2ϵa−−√≤ϵ|Xn−a|+2ϵa&lt;ϵ2+2ϵa\leq \epsilon|\sqrt{X_n}-\sqrt{a}|+2\epsilon\sqrt{a}<\epsilon^2+2\epsilon\sqrt{a} 注意, ϵ2+2ϵa−−√&gt;ϵa−−√ϵ2+2ϵa&gt;ϵa\epsilon^2+2\epsilon\sqrt{a}>\epsilon\sqrt{a} 则 P(|Xn−−−√−a−−√|≤ϵ)≥P(|Xn−a|≤ϵa−−√)→1asn→∞P(|Xn−a|≤ϵ)≥P(|Xn−a|≤ϵa)→1asn→∞P(|\sqrt{X_n}-\sqrt{a}|\leq \epsilon)\geq P(|X_n-a|\leq \epsilon\sqrt{a})\to 1 \;\;as\;n\to\infty ⟹Xn−−−√→a−−√inprobability⟹Xn→ainprobability\implies \sqrt{X_n}\to\sqrt{a} \;\;in\;probability 对于第二部分,我们有 现在,由于 X n → a为 n → ∞,我们得到 X n是有界序列。换句话说,存在一个实数中号&lt; ∞ ST | X n | ≤ 中号。因此, | …

1
N正态id的乘积的近似分布?特例μ≈0
给定 iid和,寻找:X Ñ ≈ Ñ(μ X,σ 2 X)μ X ≈ 0ñ≥ 30N≥30N\geq30Xñ≈ ñ(μX,σ2X)Xn≈N(μX,σX2)X_n\approx\mathcal{N}(\mu_X,\sigma_X^2)μX≈ 0μX≈0\mu_X \approx 0 精确封闭形式分布近似值 ÿñ= ∏1个ñXñYN=∏1NXnY_N=\prod\limits_{1}^{N}{X_n} 相同乘积的渐近(指数?)逼近 这是一个特殊情况,是一个更一般的问题。μX≈ 0μX≈0\mu_X \approx 0



1
二次形式的渐近正态性
令xx\mathbf{x}为从提取的随机向量PPP。考虑一个样本{xi}ni=1∼i.i.d.P{xi}i=1n∼i.i.d.P\{ \mathbf{x}_i \}_{i=1}^n \stackrel{i.i.d.}{\sim} P。限定x¯n:=1n∑ni=1xix¯n:=1n∑i=1nxi\bar{\mathbf{x}}_n := \frac{1}{n} \sum_{i=1}^n \mathbf{x}_i,和 c ^:=1C^:=1n∑ni=1(xi−x¯n)(xi−x¯n)⊤C^:=1n∑i=1n(xi−x¯n)(xi−x¯n)⊤\hat{C} := \frac{1}{n} \sum_{i=1}^n (\mathbf{x}_i - \bar{\mathbf{x}}_n) (\mathbf{x}_i - \bar{\mathbf{x}}_n)^\top。让和。μ:=Ex∼P[x]μ:=Ex∼P[x]\boldsymbol{\mu} := \mathbb{E}_{\mathbf{x}\sim P}[\mathbf{x}]C:=covx∼P[x,x]C:=covx∼P[x,x]C:=\mathrm{cov}_{\mathbf{x} \sim P}[\mathbf{x}, \mathbf{x}] 根据中心极限定理,假设 n−−√(x¯n−μ)→dN(0,C),n(x¯n−μ)→dN(0,C), \sqrt{n} \big( \bar{\mathbf{x}}_n - \boldsymbol{\mu} \big) \stackrel{d}{\to} \mathcal{N}(\boldsymbol{0}, C), 其中是满秩协方差矩阵。CCC 问题:我如何证明(或反对) n−−√(x¯⊤n(C^+γnI)−1x¯n−μ⊤C−1μ)→dN(0,v2),n(x¯n⊤(C^+γnI)−1x¯n−μ⊤C−1μ)→dN(0,v2),\sqrt{n} \big( \bar{\mathbf{x}}_n^\top (\hat{C} + \gamma_n I)^{-1} \bar{\mathbf{x}}_n - \boldsymbol{\mu}^\top C^{-1} …


2
拉丁超立方采样渐近线
我正在尝试为我正在研究的问题构建证明,而我所做的一个假设是,我从中采样的点集在整个空间中都是密集的。实际上,我使用拉丁超立方体采样来获取整个采样空间中的点。我想知道的是,如果让您的样本大小趋于那么拉丁超立方体样本在整个空间中是否密集?如果是这样,将不胜感激对此事实的引用。∞∞\infty

3
有多少个最大的术语 加起来是总数的一半?
考虑 其中是iid,而CLT成立。 几个最大的项加起来等于总数的一半? 例如,10 + 9 + 8(10 + 9 + 8 + 1)/ 2:30%的术语大约占总数的一半。∑Ni=1|Xi|∑i=1N|Xi|\sum_{i=1}^N |X_i|X1,…,XNX1,…,XNX_1, \ldots, X_N≈≈\approx……\dots 定义 sumbiggest( j;X1…XN)≡sum of the j biggest of |X1|…|XN|sumbiggest( j;X1…XN)≡sum of the j biggest of |X1|…|XN| \qquad\text{sumbiggest( j}; X_1 \dots X_N ) \equiv \text{sum of the j biggest of } |X_1| \dots …

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.