回归系数的偏差方差折衷是什么？如何推导？

9

在本文中（仅使用误差对比度进行方差分量的贝叶斯推断，Harville，1974年），作者声称成为“众所周知的线性回归其中

（ ÿ - X β ）^{'} H^{- 1个} （ ÿ - X β ） = （ ÿ - X \hat{β} ）^{'} H^{- 1个} （ ÿ - X \hat{β} ） + （ β - \hat{β} ）^{'} （ X^{'} H^{- 1个} X ） （ β - \hat{β} ）

$(y-X\beta)'H^{-1}(y-X\beta)=(y-X\hat\beta)'H^{-1}(y-X\hat\beta)+(\beta-\hat\beta)'(X'H^{-1}X)(\beta-\hat\beta)$

y = X β + ϵ,

$y=X\beta+\epsilon,$

ϵ \sim N (0, H) .

$\epsilon\sim\mathcal{N}(0, H).$

这个怎么知名的？证明这一点的最简单方法是什么？

— 西布斯赌博
source

1

它在Wikipedia上，请参阅“派生”。

— user603 2015年

@ user603您介意使链接更清晰吗？谢谢！

— 锡伯斯赌博

@ user603抱歉，我真的看不到链接如何解决问题。对我而言，等式为Var（y）= bias + ...您能详细说明吗？

— 锡伯斯赌博

4

@SibbsGambling注意，在这种加权线性回归公式中，您的方程式包含两个与方差相关的项。左边的项与真实模型周围的方差有关（由精度矩阵加权）。右边的第一项与拟合模型周围的方差有关。右边的第二项与偏差的平方有关。这就是方差偏见的权衡。

H^{- 1}

$H^{-1}$

— EdM 2015年

6

等式中的最后一项可以写成

(X β - X \hat{β})^{'} H^{- 1} (X β - X \hat{β}) .

$(X\beta - X\hat{\beta})'H^{-1}(X\beta - X\hat{\beta}).$

在这种形式下，方程式表达了一些有趣的意思。假设为正定且对称，则为逆。因此，我们可以定义一个内积，给我们几何形状。那么上述等式实际上就是在说 $H$ $<x, y>_{H^{-1}} = x'H^{-1}y$

（ X β - X \hat{β} ） ⊥ （ ÿ - X \hat{β} ） 。

$(X\beta - X\hat{\beta}) \perp (y - X\hat{\beta}).$

我想给你一些直觉，因为评论者已经离开了派生链接。

编辑：为后代

LHS：

\begin{array}{rcl} （ ÿ - X β ）^{'} H^{- 1个} （ ÿ - X β ） & = & ÿ^{'} H^{- 1个} ÿ & - & 2 ÿ^{'} H^{- 1个} X β & + & β^{'} X^{'} H^{- 1个} X β \\ = & （ 一个 ） & - & （ 乙 ） & + & （ C ） \end{array}

$\begin{eqnarray} (y-X \beta)'H^{-1}(y-X \beta) &=& y'H^{-1}y &-& 2y'H^{-1}X \beta &+& \beta'X'H^{-1}X\beta \\ &=& (A) &-& (B) &+& (C) \end{eqnarray}$

RHS：

（ ÿ - X \hat{β} ）^{'} H^{- 1个} （ ÿ - X \hat{β} ） + （ β - \hat{β} ）^{'} （ X^{'} H^{- 1个} X ） （ β - \hat{β} ）

$(y-X\hat\beta)'H^{-1}(y-X\hat\beta)+(\beta-\hat\beta)'(X'H^{-1}X)(\beta-\hat\beta)$

\begin{array}{rcl} = & ÿ^{'} H^{- 1个} ÿ & - 2 ÿ^{'} H^{- 1个} X \hat{β} & + {\hat{β}}^{'} X^{'} H^{- 1个} X \hat{β} & + β X^{'} H^{- 1个} X β & - 2 \hat{β} X^{'} H^{- 1个} X β & + {\hat{β}}^{'} X^{'} H^{- 1个} X \hat{β} \\ = & （ 一个 ） & - （ d ） & + （ Ë ） & + （ C ） & - （ F ） & + （ Ë ） \end{array}

$\begin{eqnarray} &=& y'H^{-1}y &- 2y'H^{-1}X\hat{\beta} &+ \hat{\beta}'X'H^{-1}X\hat{\beta} &+ \beta X'H^{-1}X\beta &- 2\hat{\beta}X'H^{-1}X\beta &+ \hat{\beta}'X'H^{-1}X\hat{\beta} \\ &=& (A) &- (D) &+ (E) &+ (C) &- (F) &+ (E) \end{eqnarray}$

关系：

\hat{β} = （ X^{'} H^{- 1个} X ）^{- 1个} X^{'} H^{- 1个} ÿ

$\hat{\beta} = (X'H^{-1}X)^{-1}X'H^{-1}y$

通过插入关系，您可以显示（B）=（F），并且2（E）=（D）。全做完了。

— 耶利马哈弗福德
source

抱歉，我真的看不到链接如何解决问题。对我而言，等式为Var（y）= bias + ...您能详细说明吗？

— 锡伯斯赌博

@SibbsGambling编辑了我的答案，包括推导。

— jlimahaverford

@jlimahaverford您是否不会忘记公式结尾的？

y

$y$

\hat{β}

$\hat{\beta}$

— Gumeo 2015年

7

他们通过一种称为完成正方形的技术来获得此身份。左侧为二次形式，因此先将其相乘

（ ÿ - X β ）^{'} H^{- 1个} （ ÿ - X β ） = ÿ^{'} H^{- 1个} ÿ - 2 ÿ^{'} H^{- 1个} X β + β^{'} X^{'} H^{- 1个} X β

$(y-X\beta)'H^{-1}(y-X\beta)= y'H^{-1}y - 2y'H^{-1}X\beta + \beta'X'H^{-1} X\beta$

继续，然后根据。代数有点长，但是在贝叶斯回归中完成了平方运算，因此您可以找到很多提示。例如，请参阅有关贝叶斯线性回归的维基百科，以及有关完成正方形的其他CrossValided答案，例如此处。 $\hat{\beta} = (X'H^{-1}X)^{-1}X'H^{-1}y$

— bill_e
source

2

如果您知道矩阵代数，则可以通过将所有内容相乘并验证双方确实相同来实现。这就是jlimahaverford所展示的。

为此，您需要使用的估算公式。当我们具有不相关的误差项时，我们可以采用与线性回归类似的方式来推导公式。诀窍是要标准化。 $\hat{\beta}$

以下是有关如何标准化来自多元正态分布的RV的一些信息。假设您有是正定的，所以可以因式分解它作为。现在随机变量来自分布。现在，我们可以使用此技巧解决问题，找到。让我们比化。我们有现在已标准化，因此

X 〜 ñ （ μ ， Σ ） 。

$\mathbf{X}\sim \mathcal{N}(\mu,\Sigma).$

Σ

$\Sigma$

Σ = P P^{T}

$\Sigma = PP^T$

ÿ = P^{- 1个} （ X - μ ）

$\mathbf{Y}=P^{-1}(\mathbf{X}-\mu)$

N (0, I)

$\mathcal{N}(0,I)$

\hat{β}

$\hat{\beta}$

H = P P^{T}

$H=PP^T$

\begin{aligned} ÿ & = X β + ϵ \\ P^{- 1个} ÿ & = P^{- 1个} X β + P^{- 1个} ϵ \end{aligned}

$\begin{align} y&=X\beta+\epsilon\\ P^{-1}y &= P^{-1}X\beta + P^{-1}\epsilon \end{align}$

ϵ

$\epsilon$

cov (P^{- 1} ϵ) = I

$\text{cov}(P^{-1}\epsilon)=I$ ，因此我们现在可以将其视为简单的多元线性回归模型，其中：因此，我们有回归问题：对式是这是要做的关键剩下的就是jlimahaverford解决方案中展示的代数运算。

\overset{〜}{X} = P^{- 1个} X ， \overset{〜}{ÿ} = P^{- 1个} ÿ 和 \overset{〜}{ϵ} = P^{- 1个} ϵ 。

$\tilde{X}=P^{-1}X,\qquad \tilde{y}=P^{-1}y\quad\text{and}\quad \tilde{\epsilon}=P^{-1}\epsilon.$

\overset{〜}{ÿ} = \overset{〜}{X} β + \overset{〜}{ϵ}

$\tilde{y}=\tilde{X}\beta+\tilde{\epsilon}$

\hat{β}

$\hat{\beta}$

\begin{aligned} \hat{β} & = （ {\overset{〜}{X}}^{Ť} \overset{〜}{X} ）^{- 1个} {\overset{〜}{X}}^{Ť} \overset{〜}{ÿ} \\ = （ （ P^{- 1个} X ）^{Ť} P^{- 1个} X ）^{- 1个} （ P^{- 1个} X ）^{Ť} P^{- 1个} ÿ \\ = （ X^{Ť} （ P P^{Ť} ）^{- 1个} X ）^{- 1个} X （ P P^{Ť} ）^{- 1个} ÿ \\ = （ X^{Ť} H^{- 1个} X ）^{- 1个} X H^{- 1个} ÿ \end{aligned}

$\begin{align} \hat{\beta} &= (\tilde{X}^T\tilde{X})^{-1}\tilde{X}^T\tilde{y}\\ &=((P^{-1}X)^TP^{-1}X)^{-1}(P^{-1}X)^TP^{-1}y\\ &=(X^T(PP^T)^{-1}X)^{-1}X(PP^T)^{-1}y\\ &=(X^TH^{-1}X)^{-1}XH^{-1}y \end{align}$

— 久尾
source