在异方差下OLS渐近有效

我知道在线性回归设置下，OLS是无偏的，但在异方差下效率不高。

在维基百科

http://en.wikipedia.org/wiki/Minimum_mean_square_error

MMSE估计量是渐近无偏的，并且其分布收敛到正态分布：，其中I（x）是x的Fisher信息。因此，MMSE估计器是渐近有效的。 $\sqrt{n}(\hat{x} - x) \xrightarrow{d} \mathcal{N}\left(0 , I^{-1}(x)\right)$

MMSE被认为是渐近有效的。我在这里有些困惑。

这是否意味着OLS在有限样本中无效，但在异方差下渐近有效？

对当前答案的批评：到目前为止，提出的答案还没有解决限制分布的问题。

提前致谢

least-squares heteroscedasticity efficiency

— 卡格达斯·厄兹根奇
source

那是一篇很长的维基百科文章。此外，由于这些内容可能会发生变化，因此您会介意这段文字引起混乱吗？

— hejseb 2015年

Fisher信息是从似然函数得出的。因此，这暗示着正确指定了可能性。即，您所引用的语句假定，如果存在任何异方差，则对回归进行加权，以便正确指定异方差。请参阅en.wikipedia.org/wiki/Least_squares#Weighted_least_squares。在实践中，我们通常不知道异方差的形式，因此我们有时会接受效率低下的问题，而不是通过错过指定加权方案来偏向回归的机会。

— Zachary Blumenfeld 2015年

@ZacharyBlumenfeld在文章中没有假设x的分布。我们如何最终获得Fisher信息？

— Cagdas Ozgenc

请参阅en.wikipedia.org/wiki/Fisher_information。该文章暗含了在定义部分中期望时和上的分布。请注意，从来没有假设过同质性。在OLS的上下文中，同质性假设，是单位矩阵。异规性允许，任何对角线正半定数。使用将产生与使用不同的Fisher信息。

x

$x$

e

$e$

e \sim N (0, σ I)

$\mathbf{e} \sim N(0,\sigma I)$

I

$I$

e \sim N (0, D)

$\mathbf{e} \sim N(0,D)$

D

$D$

D

$D$

σ I

$\sigma I$

— Zachary Blumenfeld

在哪里可以看到“ MMSE的分布收敛到正态分布”这一事实的证据？

— 哈吉

Answers:

该文章在定义中从未假设过同性恋。把它在文章的上下文中，同方差会说在哪里是单位矩阵，是一个标量正数。异方差允许

Ë {（ \hat{X} - X ） （ \hat{X} - X ）^{Ť}} = σ 一世

$E\{(\hat x-x)(\hat x-x)^T\}=\sigma I$

I

$I$

n \times n

$n\times n$

σ

$\sigma$

Ë {（ \hat{X} - X ） （ \hat{X} - X ）^{Ť}} = d

$E\{(\hat x-x)(\hat x-x)^T\}=D$

任何固醇为正定。本文以最通用的方式将协方差矩阵定义为某些隐式多元分布的中心二阶矩。我们必须知道的多变量分布获得的渐近有效和一致的估计。这将来自似然函数（这是后验的强制性组成部分）。例如，假设（即 $D$ $e$ $\hat x$ $e \sim N(0,\Sigma)$ 。然后隐含似然函数是其中是多元正态pdf文件。 $E\{(\hat x-x)(\hat x-x)^T\}=\Sigma$

日志 [大号] = 日志 [ϕ （ \hat{X} - X ， Σ ）]

$\log[L]=\log[\phi(\hat x -x, \Sigma)]$

ϕ

$\phi$

费舍尔信息矩阵可以写成有关更多信息，请参见en.wikipedia.org/wiki/Fisher_information。从这里我们可以得出

一世 （ X ） = Ë [（ \frac{\partial}{\partial X} 日志 [大号] ）^{2} | X]

$I(x)=E\bigg[\bigg(\frac{\partial}{\partial x}\log[L]\bigg)^2 \,\bigg|\,x \bigg]$

上述利用二次损失函数但并不假设方差齐性。

\sqrt{ñ} （ \hat{X} - X ） \to^{d} ñ （ 0 ， {一世}^{- 1个} （ X ） ）

$\sqrt{n}(\hat x -x) \rightarrow^d N(0, I^{-1}(x))$

在OLS的上下文中，我们在上对进行回归，我们假设隐含的可能性是其中可以方便地重写为 $y$ $x$

Ë {ÿ | X} = X^{'} β

$E\{y|x\}=x'\beta$

日志 [大号] = 日志 [ϕ （ ÿ - X^{'} β ， σ 一世 ）]

$\log[L]=\log[\phi(y-x'\beta, \sigma I)]$

单变量正常PDF。Fisher信息然后

日志 [大号] = \sum_{一世 = 1个}^{ñ} 日志 [φ （ ÿ - X^{'} β ， σ ）]

$\log[L]=\sum_{i=1}^n\log[\varphi(y-x'\beta, \sigma)]$

φ

$\varphi$

一世 （ β ） = [σ （ X X^{'} ）^{- 1个}]^{- 1个}

$I(\beta)=[\sigma (xx')^{-1}]^{-1}$

$\beta$

日志 [大号] = 日志 [ϕ （ ÿ - X^{'} β ， d ）]

$\log[L]=\log[\phi(y-x'\beta, D)]$

β

$\beta$

\frac{1}{n} I^{- 1} (β)

$\frac{1}{n}I^{-1}(\beta)$

— 扎卡里（Zachary Blumenfeld）
source

感谢您一直以来的投入。但是我认为Wiki条目完全是废话。MMSE不会提高效率，也没有规定对样本进行适当加权的方法。而且，即使我们假设样本是加权的，除非分布是高斯分布（也未指定），否则它仍然不是有效的估计量。

— Cagdas Ozgenc

@CagdasOzgenc我谨不同意。本文以一般的贝叶斯方式表述，其中可能包括回归分析，但也包括许多其他模型（它似乎更针对Kalman滤波器）。似然是已知时最有效的估计器，这是似然的基本属性。您的说法严格适用于回归模型的一个子集（尽管在应用最广泛的模型中），在推导一阶条件时假定正态性。

— Zachary Blumenfeld

你自己说的不幸的是，本文不是关于似然估计的。它是最小均方估计量，在满足某些条件时有效。

— Cagdas Ozgenc

好吧，我同意不同意：）在最频繁回归中如何使用MMSE以及在更贝叶斯环境中如何应用MMSE，也许与MMSE的定义存在冲突。也许他们应该为此发明一个新的名字。然而，当对每个平方余数取独立的期望时，隐含了可能性（或其他非参数估计）。特别是在贝叶斯环境中（否则我们将如何估算？）。谷歌搜索后，我发现了很多与Wikipedia上相似的结果。无论如何，我同意滥用术语。

— Zachary Blumenfeld

不，OLS在异方差下效率不高。如果估计量在其他可能的估计量之间具有最小方差，则可以获得估计量的效率。不管估计量的限制分布如何，都会做出有关OLS中效率的陈述。

— random_guy
source