三明治估计量直觉

维基百科和R三明治包装插图提供了有关支持OLS系数标准误差的假设以及三明治估算器的数学背景的良好信息。不过，我仍然不清楚如何解决残差异方差问题，可能是因为我一开始对标准OLS系数的方差估计并不完全了解。

三明治估计量背后的直觉是什么？

您需要了解有关估计（或极值估计，有时在计量经济学中有时称为更多信息。回归的三明治估计量只是非常通用的增量方法公式的特例，如果您了解后者，则前者不会有任何问题。凭直觉，三明治估算器不会尝试对异方差建模或对其进行任何特定处理。与标准OLS估算器相比，它只是一种不同的方差估算器，在更广泛的假设条件下工作。

M

$M$

— StasK

@StasK谢谢！您是否偶然知道M估计和增量法公式的任何特别好资源？

— 罗伯特·库布里克

@Robert Huber的专着《稳健统计》值得一看。

— Momo 2013年

对于OLS，您可以想象您正在使用残差的估计方差（在独立性和同平稳性的假设下）作为 s 条件方差的估计。在基于三明治的估计器中，您将观察到的平方残差用作相同方差的插入式估计，该方差在观察之间可能会有所不同。 $Y_i$

var (\hat{β}) = {（ X^{Ť} X ）}^{- 1个} （ X^{Ť} 诊断 （ 变种 （ ÿ | X ） ） X ） {（ X^{Ť} X ）}^{- 1个}

$\begin{equation} \mbox{var}\left(\hat{\beta}\right) = \left(X^TX\right)^{-1}\left(X^T\mbox{diag}\left(\mbox{var}\left(Y|X\right)\right)X\right)\left(X^TX\right)^{-1} \end{equation}$

在回归系数估计的普通最小二乘标准误差估计中，结果的条件方差被视为恒定且独立的，因此可以一致地进行估计。

{\hat{var}}_{O L S} (\hat{β}) = {(X^{T} X)}^{- 1} (r^{2} X^{T} X) {(X^{T} X)}^{- 1}

$\begin{equation} \widehat{\mbox{var}}_{OLS}\left(\hat{\beta}\right) = \left(X^TX\right)^{-1}\left(r^2X^TX\right)\left(X^TX\right)^{-1} \end{equation}$

对于三明治，我们避免对条件方差的一致估计，而是使用平方残差对每个组件的方差使用插入式估计

{\hat{var}}_{R S E} (\hat{β}) = {(X^{T} X)}^{- 1} (X^{T} diag (r_{i}^{2}) X) {(X^{T} X)}^{- 1}

$\begin{equation} \widehat{\mbox{var}}_{RSE}\left(\hat{\beta}\right) = \left(X^TX\right)^{-1}\left(X^T\mbox{diag}\left(r_i^2\right)X\right)\left(X^TX\right)^{-1} \end{equation}$

通过使用插件方差估计，我们得到的方差的估计一致由李雅普诺夫中心极限定理。 $\hat{\beta}$

直观地，这些观察到的残差平方将消除由于异方差导致的任何无法解释的误差，否则在恒定方差假设下是无法预料的。

— 亚当
source

我很难理解这是您的最后一段。你能说明一下吗？

— 罗伯特·库布里克

在您的公式中，它不是SE，AdamO，它是SE ^ 2 ...以您要表示的任何矩阵方式表示。

— StasK

@StasK好点。也许有顶帽子比较好。我在混淆多变量和单变量术语。

— AdamO

var (Y | X)

$\mbox{var}(Y|X)$

i

$i$ -th term using the squared residuals. In the presence of heteroscedasticity, points with relatively large squared residuals have a corresponding large estimated variance and this reduces their influence on the standard error estimates.

— AdamO

编辑：我说OLS var估计涉及“残差的一致估计”，而我的意思是“ 残差方差的一致估计”。

— AdamO