Questions tagged «asymptotics»

渐近理论研究样本量接近无穷大时估计量和检验统计量的性质。

1
是否有一个结果,当且仅当统计数据是平滑的时,提供引导程序才有效?
在整个过程中,我们假设统计量是某些数据的函数是从分布函数得出的;我们样本的经验分布函数是。因此,是被视为随机变量的统计量,而是该统计量的引导版本。我们使用作为KS距离θ (⋅ )θ(⋅)\theta(\cdot) ˚F ˚F θ (˚F )θ (X1个,… XñX1,…XñX_1, \ldots X_nFFFF^F^\hat{F}θ (˚F)θ(F)\theta(F)d∞θ (˚F^)θ(F^)\theta(\hat{F})d∞d∞d_\infty 如果统计信息是简单的线性统计信息,则对于引导程序的有效性有“ if and only if”结果。例如Mammen的定理1“引导程序何时起作用?” 如果用于某些任意函数则引导程序的作用是如果且仅当存在和使得 我们可以在其中将定义为样本的某些函数,并且ħñd∞[大号(θ( ˚F) -吨 Ñ),大号(θ(˚F)-吨Ñ)]→p0σÑ吨Ñd∞[L(θ(F)−tn)θ (˚F)= 1ñ∑ñi − 1Hñ( X一世)θ(F)=1个ñ∑一世-1个ñHñ(X一世)\theta(F) = \frac{1}{n} \sum_{i-1}^n h_n(X_i)HñHñh_nd∞[ L(θ (F^)− t^ñ),大号(θ (F)− tñ)] →p0d∞[大号(θ(F^)-Ť^ñ),大号(θ(F)-Ťñ)]→p0d_\infty\big[\mathscr{L}(\theta(\hat{F})-\hat{t}_n), \mathscr{L}(\theta(F)-t_n)\big] \underset{p}{\rightarrow} 0σñσñ\sigma_nŤñŤñt_n ^ 吨Ñ吨Ñ = È(吨 Ñ)d∞[ L(θ (F)− tñ),Ñ(0 …


2
为什么Wilks 1938年的证明不适用于错误指定的模型?
在1938年著名的论文中(“ 用于检验复合假设的似然比的大样本分布 ”,《数学统计年鉴》 9:60-62),塞缪尔·威尔克斯推导了(对数似然比)的渐近分布。对于嵌套假设,在正确指定了较大假设的前提下。极限分布为(卡方),具有自由度,其中是较大假设中的参数数,χ 2 ħ - 米ħ 米2 × L L R2×大号大号[R2 \times LLRχ2χ2\chi^2ħ - 米H-米h-mHHh米米m是嵌套假设中自由参数的数量。然而,众所周知,当假设被错误指定时(即,当较大的假设不是采样数据的真实分布时),该结果将不成立。 谁能解释为什么?在我看来,Wilks的证明应该仍然可以进行较小的修改。它依靠最大似然估计(MLE)的渐近正态性,但对于错误指定的模型仍然适用。唯一的不同是有限多元法线的协方差矩阵:对于正确指定的模型,我们可以使用反Fisher信息矩阵来近似协方差矩阵,而使用错误指定,可以使用协方差矩阵的三明治估计()。正确指定模型后,后者简化为Fisher信息矩阵的逆矩阵(因为 J − 1 K J − 1 J = KĴ− 1Ĵ-1个J^{-1}Ĵ− 1ķĴ− 1Ĵ-1个ķĴ-1个J^{-1} K J^{-1}Ĵ= KĴ=ķJ = K)。在AFAICT中,只要我们具有MLE的多元正态的可逆渐近协方差矩阵(Wilks论文中的),Wilks证明并不关心协方差矩阵的估计值从哪里来。 C− 1C-1个c^{-1}

4
如何将新向量投影到PCA空间上?
执行主成分分析(PCA)之后,我想将一个新向量投影到PCA空间上(即在PCA坐标系中找到其坐标)。 我已经使用R计算了R语言的PCA prcomp。现在,我应该可以将向量乘以PCA旋转矩阵。该矩阵中的主要成分应该按行还是按列排列?
21 r  pca  r  variance  heteroscedasticity  misspecification  distributions  time-series  data-visualization  modeling  histogram  kolmogorov-smirnov  negative-binomial  likelihood-ratio  econometrics  panel-data  categorical-data  scales  survey  distributions  pdf  histogram  correlation  algorithms  r  gpu  parallel-computing  approximation  mean  median  references  sample-size  normality-assumption  central-limit-theorem  rule-of-thumb  confidence-interval  estimation  mixed-model  psychometrics  random-effects-model  hypothesis-testing  sample-size  dataset  large-data  regression  standard-deviation  variance  approximation  hypothesis-testing  variance  central-limit-theorem  kernel-trick  kernel-smoothing  error  sampling  hypothesis-testing  normality-assumption  philosophical  confidence-interval  modeling  model-selection  experiment-design  hypothesis-testing  statistical-significance  power  asymptotics  information-retrieval  anova  multiple-comparisons  ancova  classification  clustering  factor-analysis  psychometrics  r  sampling  expectation-maximization  markov-process  r  data-visualization  correlation  regression  statistical-significance  degrees-of-freedom  experiment-design  r  regression  curve-fitting  change-point  loess  machine-learning  classification  self-study  monte-carlo  markov-process  references  mathematical-statistics  data-visualization  python  cart  boosting  regression  classification  robust  cart  survey  binomial  psychometrics  likert  psychology  asymptotics  multinomial 


5
当中心极限定理和大数定律不一致时
从本质上讲,这是我在math.se上发现的一个问题的复制,但没有得到我所希望的答案。 令为一系列独立的,均布的随机变量,其中和。{Xi}i∈N{Xi}i∈N\{ X_i \}_{i \in \mathbb{N}}E[Xi]=1E[Xi]=1\mathbb{E}[X_i] = 1V[Xi]=1V[Xi]=1\mathbb{V}[X_i] = 1 考虑对 limn→∞P(1n−−√∑i=1nXi≤n−−√)limn→∞P(1n∑i=1nXi≤n) \lim_{n \to \infty} \mathbb{P}\left(\frac{1}{\sqrt{n}} \sum_{i=1}^n X_i \leq \sqrt{n}\right) 由于不平等事件的两面都趋于无穷大,因此必须对此表达式进行操作。 A)尝试减法 在考虑限制语句之前,请从两侧减去n−−√n\sqrt{n}: limn→∞P(1n−−√∑i=1nXi−n−−√≤n−−√−n−−√)=limn→∞P(1n−−√∑i=1n(Xi−1)≤0)=Φ(0)=12limn→∞P(1n∑i=1nXi−n≤n−n)=limn→∞P(1n∑i=1n(Xi−1)≤0)=Φ(0)=12\lim_{n \to \infty} \mathbb{P}\left(\frac{1}{\sqrt{n}} \sum_{i=1}^n X_i -\sqrt{n} \leq \sqrt{n}-\sqrt{n} \right) = \lim_{n \to \infty} \mathbb{P}\left(\frac{1}{\sqrt{n}} \sum_{i=1}^n (X_i - 1) \leq 0\right) \\ = \Phi(0) = \frac{1}{2} CLT的最后一个等式,其中Φ()Φ()\Phi()是标准正态分布函数。 …

3
非正态样本的样本方差的渐近分布
这是造成问题的更一般的处理 这个问题。在得出样本方差的渐近分布之后,我们可以应用Delta方法得出标准差的相应分布。 设一个大小为的iid 非正态随机变量,均值和方差。将样本均值和样本方差设置为 { X i } ,nnn{Xi},i=1,...,n{Xi},i=1,...,n\{X_i\},\;\; i=1,...,nμμ\muσ2σ2\sigma^2x¯=1n∑i=1nXi,s2=1n−1∑i=1n(Xi−x¯)2x¯=1n∑i=1nXi,s2=1n−1∑i=1n(Xi−x¯)2\bar x = \frac 1n \sum_{i=1}^nX_i,\;\;\; s^2 = \frac 1{n-1} \sum_{i=1}^n(X_i-\bar x)^2 我们知道 E(s2)=σ2,Var(s2)=1n(μ4−n−3n−1σ4)E(s2)=σ2,Var⁡(s2)=1n(μ4−n−3n−1σ4)E(s^2) = \sigma^2, \;\;\; \operatorname {Var}(s^2) = \frac{1}{n} \left(\mu_4 - \frac{n-3}{n-1}\sigma^4\right) 其中μ4=E(Xi−μ)4μ4=E(Xi−μ)4\mu_4 = E(X_i -\mu)^4,我们将注意力集中在需要存在且有限的矩,确实存在且为有限矩的分布上。 它持有吗 n−−√(s2−σ2)→dN(0,μ4−σ4)?n(s2−σ2)→dN(0,μ4−σ4)?\sqrt n(s^2 - \sigma^2) \rightarrow_d N\left(0,\mu_4 - \sigma^4\right)\;\; ?

2
为什么
如果√,则参数θ的估计量序列渐近正态üñUnU_nθθ\theta。(来源)然后将v称为Un的渐近方差。如果此方差等于Cramer-Rao界,则我们说估计量/序列渐近有效。ñ--√(Uñ- θ )→ Ñ(0 ,v )n(Un−θ)→N(0,v)\sqrt{n}(U_n - \theta) \to N(0,v)vvvüñüñU_n 问题:为什么使用特别是 n?ñ--√ñ\sqrt{n} 我知道,对于样本均值,,因此该选择将其标准化。但是,由于上述定义适用于比样本均值多,为什么我们仍然选择通过规范化√V一个- [R (X¯)= σ2ñV一种[R(X¯)=σ2ñVar(\bar{X}) = \frac{\sigma^2}{n}。ñ--√ñ\sqrt{n}

3
具有非零渐近方差的渐近一致性-它代表什么?
这个问题以前已经提出过,但是我想问一个具体的问题,试图得出一个可以澄清(和分类)它的答案: 在“穷人的无症状”中, (a)概率收敛为常数的一系列随机变量 与之相反 (b)一系列随机变量,其概率收敛于一个随机变量(因此分布于该变量)。 但是在“智者的渐近”中,我们也可以 (c)一系列随机变量,它们的概率收敛到一个常数,同时在极限处保持非零方差。 我的问题是(从下面我自己的探索性答案中窃取): 我们如何才能理解渐近一致但也具有非零的有限方差的估计量?这种差异反映了什么?它的行为与“通常的”一致估计量有何不同? 与(c)中描述的现象相关的线程(另请参见注释): 一致估计和无偏估计之间有什么区别? /stats/120553/convergence-of-an-estimator-with-infinite-variance 为什么渐近一致估计量在无穷大处没有零方差? 几乎可以确定收敛和极限方差为零

3
为什么CLT对不起作用?
因此,我们知道的和泊松与参数是本身泊松 。因此,假设可以取并说它实际上是,其中每个是:,并花大的n才能使CLT工作。nnnλλ\lambdanλnλn\lambdax∼poisson(λ=1)x∼poisson(λ=1)x \sim poisson(\lambda = 1) ∑n1xi∼poisson(λ=1)∑1nxi∼poisson(λ=1)\sum_1^n x_i \sim poisson(\lambda = 1) xixix_ixi∼poisson(λ=1/n)xi∼poisson(λ=1/n)x_i \sim poisson(\lambda = 1/n) 这(显然)不起作用。我认为这与CLT如何“更快”地处理与正常情况“更接近”的随机变量有关,并且lambda越小,我们得到的随机变量越多,该随机变量大多为0,并且很少变化。 但是,我的解释是我的直觉。是否有更正式的方式来解释为什么会这样? 谢谢!

2
观察到的信息矩阵是否是预期信息矩阵的一致估计?
我试图证明在弱一致性最大似然估计器(MLE)处评估的观测信息矩阵是预期信息矩阵的弱一致性估计器。这是被广泛引用的结果,但没有人提供参考或证明(我已经用尽我认为Google搜索结果的前20页和我的统计资料教科书)! 使用MLE的弱一致序列,我可以使用大数弱定律(WLLN)和连续映射定理来获得所需的结果。但是,我相信不能使用连续映射定理。相反,我认为需要使用统一的大数定律(ULLN)。有人知道有证明这一点的参考文献吗?我尝试了ULLN,但为简洁起见,现在省略。 对于这个问题的冗长,我深表歉意,但必须引入一些符号。表示法如下(我的证明在结尾)。 假设我们有随机变量的IID样本{Y1,…,YN}\{Y_1,\ldots,Y_N\}与密度f(Y~|θ)f(\tilde{Y}|\theta),其中θ∈Θ⊆Rk\theta\in\Theta\subseteq\mathbb{R}^{k}(这里Y~\tilde{Y}是具有相同密度的只是一般随机变量作为样本的任何成员)。向量Y=(Y1,…,YN)TY=(Y_1,\ldots,Y_N)^{T}是所有样本向量的向量,其中Yi∈RnY_{i}\in\mathbb{R}^{n}所有i=1,…,Ni=1,\ldots,N。密度的真实参数值是θ0\theta_{0}和 θ Ñ(Ý)是的弱一致最大似然估计(MLE) θ 0。根据规律性条件,Fisher信息矩阵可以写为θ^N(Y)\hat{\theta}_{N}(Y)θ0\theta_{0} I(θ)=−Eθ[Hθ(logf(Y~|θ)]I(\theta)=-E_\theta \left[H_{\theta}(\log f(\tilde{Y}|\theta)\right] 其中Hθ{H}_{\theta}是Hessian矩阵。等效样本为 IN(θ)=∑i=1NIyi(θ),I_N(\theta)=\sum_{i=1}^N I_{y_i}(\theta), 其中Iyi=−Eθ[Hθ(logf(Yi|θ)]I_{y_i}=-E_\theta \left[H_{\theta}(\log f(Y_{i}|\theta)\right]。所观察到的信息矩阵是; J(θ)=−Hθ(logf(y|θ)J(\theta) = -H_\theta(\log f(y|\theta), (有些人的需求矩阵在评估θ,但有些却没有)。样本观察信息矩阵为:θ^\hat{\theta} JN(θ)=∑Ni=1Jyi(θ)J_N(\theta)=\sum_{i=1}^N J_{y_i}(\theta) 其中Jyi(θ)=−Hθ(logf(yi|θ)J_{y_i}(\theta)=-H_\theta(\log f(y_{i}|\theta)。 我可以证明在所述估计的概率收敛到我(θ ),但不ñ - 1 Ĵ Ñ(θ Ñ(Ý ))到我(θ 0)N−1JN(θ)N^{-1}J_N(\theta)I(θ)I(\theta)N−1JN(θ^N(Y))N^{-1}J_{N}(\hat{\theta}_N(Y))I(θ0)I(\theta_{0})。到目前为止,这是我的证明; Now (JN(θ))rs=−∑Ni=1(Hθ(logf(Yi|θ))rs(J_{N}(\theta))_{rs}=-\sum_{i=1}^N (H_\theta(\log f(Y_i|\theta))_{rs} is element (r,s)(r,s) of JN(θ)J_N(\theta), for any r,s=1,…,kr,s=1,\ldots,k. If the sample …

5
对于平均置信区间的近似误差时
令是一族iid随机变量,其值在,具有均值和方差{Xi}ni=1{Xi}i=1n\{X_i\}_{i=1}^n[0,1][0,1][0,1]μμ\muσ2σ2\sigma^2。给出均值的简单置信区间,只要知道就 使用σσ\sigmaP(| X¯−μ|>ε)≤σ2nε2≤1nε2(1).P(|X¯−μ|>ε)≤σ2nε2≤1nε2(1). P( | \bar X - \mu| > \varepsilon) \le \frac{\sigma^2}{n\varepsilon^2} \le\frac{1}{n \varepsilon^2} \qquad (1). 同样,由于渐近分布为标准正态随机变量,因此有时使用正态分布来“构造”近似置信区间。X¯−μσ/n√X¯−μσ/n\frac{\bar X- \mu}{\sigma/\sqrt{n}} 在多项选择题答案统计考试中,我不得不使用这种近似代替(1)(1)(1)每当时。我一直对此感到非常不舒服(超出您的想象),因为无法量化近似误差。n≥30n≥30n \geq 30 为什么使用法线逼近而不是?(1)(1)(1) 我不想再盲目地应用规则。是否有好的参考文献可以支持我拒绝这样做并提供适当的替代方法?((1)是我认为合适的替代方法的示例。)n≥30n≥30n \geq 30(1)(1)(1) 在这里,虽然σσ\sigma和E[|X|3]E[|X|3]E[ |X|^3]未知,但它们很容易被限制。 请注意,我的问题是一个参考请求,尤其是有关置信区间的请求,因此与此处建议作为部分重复的问题的区别有所不同和此处。那里没有答案。

2
GLM的归一化变换的推导
\newcommand{\E}{\mathbb{E}}如何是A(⋅)=∫duV1/3(μ)A(⋅)=∫duV1/3(μ)A(\cdot) = \displaystyle\int\frac{du}{V^{1/3}(\mu)}正火变换为指数族衍生? XXXh(X)h(X)h(X)κiκi\kappa _iithithi^{th}κ3(h(X¯))≈h′(μ)3κ3(X¯)N2+3h′(μ)2h′′(μ)σ4N+O(N−3),κ3(h(X¯))≈h′(μ)3κ3(X¯)N2+3h′(μ)2h″(μ)σ4N+O(N−3), \kappa _3(h(\bar{X})) \approx h'(\mu)^3\frac{\kappa _3(\bar{X})}{N^2} + 3h'(\mu)^2h''(\mu)\frac{\sigma^4}{N} + O(N^{-3}), h(X)h(X)h(X) 我的第一个问题是关于算术的:我的泰勒展开式具有不同的系数,我不能证明他们放弃了许多项。 Since h(x)h(X¯)−h(u)E(h(X¯)−h(u))3≈h(μ)+h′(μ)(x−μ)+h′′(x)2(x−μ)2, we have:≈h′(u))(X¯−μ)+h′′(x)2(X¯−μ)2≈h′(μ)3E(X¯−μ)3+32h′(μ)2h′′(μ)E(X¯−μ)4+34h′(μ)h′′(μ)2E(X¯−μ)5+18h′′(μ)3E(X¯−μ)6.Since h(x)≈h(μ)+h′(μ)(x−μ)+h″(x)2(x−μ)2, we have:h(X¯)−h(u)≈h′(u))(X¯−μ)+h″(x)2(X¯−μ)2E(h(X¯)−h(u))3≈h′(μ)3E(X¯−μ)3+32h′(μ)2h″(μ)E(X¯−μ)4+34h′(μ)h″(μ)2E(X¯−μ)5+18h″(μ)3E(X¯−μ)6.\begin{align} \text{Since }h(x) &\approx h(\mu) + h'(\mu)(x - \mu) + \frac{h''(x)}{2}(x - \mu)^2\text{, we have:} \\ h(\bar{X}) - h(u) &\approx h'(u))(\bar{X} - \mu) + \frac{h''(x)}{2}(\bar{X} - \mu)^2 \\ …

5
M估计量的经验式Hessian可以不确定吗?
Jeffrey Wooldridge在他的 “横截面和面板数据的计量经济学分析”(第357页)中说,经验Hessian“对于我们正在处理的特定样本,不能保证为正定,甚至正半定”。 对于我来说,这似乎是错误的,因为(由于数字问题)Hessian必须是正半定的,这是因为M估计量的定义是参数的值,该参数使给定样本的目标函数最小化,并且众所周知,在(局部)最小值处,Hessian为正半定值。 我的说法正确吗? [编辑:该语句已在第二版中删除。这本书。见评论。 背景技术假设θ Ñ是通过最小化所获得的估计 1θˆNθ^N\widehat \theta_N1N∑i=1Nq(wi,θ),1N∑i=1Nq(wi,θ),{1 \over N}\sum_{i=1}^N q(w_i,\theta), 其中wiwiw_i表示第iii个观测值。 让我们表示的海赛qqq通过HHH, H(q,θ)ij=∂2q∂θi∂θjH(q,θ)ij=∂2q∂θi∂θjH(q,\theta)_{ij}=\frac{\partial^2 q}{\partial \theta_i \partial \theta_j} 的渐近协方差θ Ñ涉及ë [ ħ (q ,θ 0)],其中θ 0θˆnθ^n\widehat \theta_nE[H(q,θ0)]E[H(q,θ0)]E[H(q,\theta_0)]θ0θ0\theta_0是真参数值。估计它的一种方法是使用经验式的Hessian Hˆ=1N∑i=1NH(wi,θˆn)H^=1N∑i=1NH(wi,θ^n)\widehat H=\frac{1}{N}\sum_{i=1}^N H(w_i,\widehat \theta_n) 它的确定性^ h这是个问题。HˆH^\widehat H


By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.