即使模型不正确,MLE估计也渐近正常且有效吗?
前提:这可能是一个愚蠢的问题。我只知道有关MLE渐近性质的陈述,但我从未研究过证明。如果我这样做了,也许我不会问这些问题,或者我可能会意识到这些问题没有道理...所以请对我轻松一点:) 我经常看到这样的说法:模型参数的MLE估计量渐近是正常且有效的。该声明通常写为 ñ→∞θ^→dN(θ0,I(θ0)−1)θ^→dN(θ0,I(θ0)−1)\hat{\theta}\xrightarrow[]{d}\mathcal{N}(\theta_0,\mathbf{I}(\theta_0)^{-1})为N→∞N→∞N\to\infty 其中是样本数,是Fisher信息,是参数(向量)true值。现在,由于引用了真实模型,这是否意味着如果模型不真实,结果将不成立吗?我θ 0NNNII\mathbf{I}θ0θ0\theta_0 示例:假设我将风力涡轮机功率输出建模 为风速与加性高斯噪声的函数VPPPVVV P=β0+β1V+β2V2+ϵP=β0+β1V+β2V2+ϵP=\beta_0+\beta_1V+\beta_2V^2+\epsilon 我知道这个模式是错误的,至少有两个方面的原因:1)是真的成正比的第三电源和2)错误不是添加剂,因为我忽略未与风速不相关的其他预测(我也知道该应该是0,因为在0风速不发电,但在这里这是不相关)。现在,假设我有一个来自风力涡轮机的功率和风速数据的无限数据库。我可以画任意数量的任意大小的样本。假设我绘制了1000个样本,每个样本的大小为100,并计算\ hat {\ boldsymbol {\ beta}} _ {100},\ boldsymbol {\ beta} =(\ beta_0,\ beta_1,\ beta_2)的MLE估计V β 0PPPVVVβ0β0\beta_0β^100β^100\hat{\boldsymbol{\beta}}_{100}β=(β0,β1,β2)β=(β0,β1,β2)\boldsymbol{\beta}=(\beta_0,\beta_1,\beta_2)(在我的模型下,这只是OLS的估算值)。因此,我从\ hat {\ boldsymbol {\ beta}} _ {100}的分布中获得了1000个样本β^100β^100\hat{\boldsymbol{\beta}}_{100}。我可以用N = 500,1000,1500,\ dots重复练习N=500,1000,1500,…N=500,1000,1500,…N=500,1000,1500,\dots。由于N→∞N→∞N\to\infty,\ hat {\ boldsymbol {\ beta}} _ {N}的分布是否应β^Nβ^N\hat{\boldsymbol{\beta}}_{N}趋于渐近正态分布,且具有均值和方差?还是模型不正确的事实会使该结果无效? 我问的原因是,很少(如果有的话)模型在应用程序中是“真实的”。如果在模型不正确时失去MLE的渐近特性,则可能有必要使用不同的估计原理,虽然在模型正确的情况下其功能不那么强大,但在其他情况下可能会比MLE更好。 编辑:在评论中指出,真实模型的概念可能有问题。我想到了以下定义:给定一个模型族由参数矢量,对于该族中的每个模型,您始终可以编写 fθ(x)fθ(x)f_{\boldsymbol{\theta}}(x)θθ\boldsymbol{\theta} Y=fθ(X)+ϵY=fθ(X)+ϵY=f_{\boldsymbol{\theta}}(X)+\epsilon 只需将定义为。但是,通常该误差不会与正交,平均值为0,并且不一定会在模型推导中具有假定的分布。如果存在一个,使得具有这两个属性以及假定的分布,我会说该模型是正确的。我认为这与说直接相关,因为分解中的误差项ϵϵ\epsilonY−fθ(X)Y−fθ(X)Y-f_{\boldsymbol{\theta}}(X)XXXθ0θ0\boldsymbol{\theta_0}ϵϵ\epsilonfθ0(X)=E[Y|X]fθ0(X)=E[Y|X]f_{\boldsymbol{\theta_0}}(X)=E[Y|X] Y=E[Y|X]+ϵY=E[Y|X]+ϵY=E[Y|X]+\epsilon 具有上述两个属性。