线性回归时，你只知道

假设。 $X\beta =Y$

我们地知道，只知道它与每个预测变量。 $Y$ $X^\mathrm{t}Y$

普通的最小二乘（OLS）解决方案是，这没有问题。 $\beta=(X^\mathrm{t} X)^{-1} X^\mathrm{t}Y$

但是，假设接近奇异（多重共线性），那么您需要估计最佳的岭参数。所有方法似乎都需要的确切值。 $X^\mathrm{t}X$ $Y$

当仅知道时，是否有其他方法？ $X^\mathrm{t}Y$

regression multicollinearity

— 尖齿
source

有趣的问题。也许某种形式的EM算法会起作用...

— 概率

我不明白，您是否可以使用交叉验证来估算最佳岭参数？

— Pardis 2012年

@Pardis：问题中没有给出损失函数，因此我们不知道最优方法是什么。如果损失函数是MSE，您能看到我们遇到的麻烦吗？

— 红衣主教

@JohnSmith：您暗示了我的意思。没有迹象表明如何衡量“最优性”。您实际上正在做的是引入一个不同的度量标准（距离函数）来度量预测或拟合的“质量”。我怀疑，我们需要OP的更多细节才能走得更远。

— 主教

@Pardis：正如您所指出的，找到估算值不是问题。:)但是，如果您决定进行交叉验证，那么您将如何估计样本外MSE，即在每次迭代的左侧折叠中？:)

— 红衣主教2012年

Answers:

这是个有趣的问题。出乎意料的是，可以在某些假设下做某事，但是可能会丢失有关残差的信息。它取决于损失了多少。 $X$

让我们考虑以下奇异值分解，其中和为矩阵与正交列，为对角矩阵，其正值为在对角线和 a正交矩阵中。然后，列构成的列空间的正交基础，并且是在该列空间中展开时在该列空间上的投影的系数向量。 $\newcommand{\t}{^\mathrm{t}}X = UDV\t$ $X$ $U$ $n \times p$ $D$ $d_1 \geq d_2 \geq ... \geq d_p > 0$ $V$ $p \times p$ $U$ $X$

Z = U^{t} Y = D^{- 1} V^{t} V D U^{t} Y = D^{- 1} V^{t} X^{t} Y

$Z = U\t Y = D^{-1} V\t V D U\t Y = D^{-1} V\t X\t Y$

Y

$Y$

U

$U$ 列基础。从公式中可以看出，仅可根据和知识进行计算。

Z

$Z$

X

$X$

X^{t} Y

$X\t Y$

由于给定的岭回归预测因子可以计算为我们看到在列基础上岭回归预测因子的系数为现在我们进行分布假设，即具有维均值和协方差矩阵。那么具有维平均和协方差矩阵。如果我们想象一个独立的 $\lambda$

\hat{Y} = X (X^{t} X + λ I)^{- 1} X^{t} Y = U D (D^{2} + λ I)^{- 1} D U^{t} Y = U D (D^{2} + λ I)^{- 1} D Z

$\hat{Y} = X(X\t X + \lambda I)^{-1} X\t Y = U D(D^2 + \lambda I)^{-1} D U\t Y = U D(D^2 + \lambda I)^{-1} D Z$

U

$U$

\hat{Z} = D (D^{2} + λ I)^{- 1} D Z .

$\hat{Z} = D (D^2 + \lambda I)^{-1} D Z.$

Y

$Y$

n

$n$

ξ

$\xi$

σ^{2} I_{n}

$\sigma^2 I_n$

Z

$Z$

p

$p$

U^{t} ξ

$U\t \xi$

σ^{2} I_{p}

$\sigma^2 I_p$

Y^{New}

$Y^{\text{New}}$ 具有与相同的分布的（从此以后所有条件都存在于），相应的具有相同的分布分布为并且是独立的，并且在这里，第三个等式之后是和的正交性第四点是

Y

$Y$

X

$X$

Z^{New} = U^{t} Y^{New}

$Z^{\text{New}} = U\t Y^{\text{New}}$

Z

$Z$

\begin{array}{rcl} E | | Y^{New} - \hat{Y} | |^{2} & = & E | | Y^{New} - U Z^{New} + U Z^{New} - U \hat{Z} | |^{2} \\ = & E | | Y^{New} - U Z^{New} | |^{2} + E | | U Z^{New} - U \hat{Z} | |^{2} \\ = & {Err}_{0} + E | | Z^{New} - \hat{Z} | |^{2} . \end{array}

$\begin{eqnarray*} E ||Y^{\text{New}} - \hat{Y}||^2 &= & E || Y^{\text{New}} - U Z^{\text{New}} + U Z^{\text{New}} - U \hat{Z} ||^2 \\ & = & E || Y^{\text{New}} - U Z^{\text{New}}||^2 + E||U Z^{\text{New}} - U \hat{Z} ||^2 \\ & = & \text{Err}_0 + E||Z^{\text{New}} - \hat{Z} ||^2. \end{eqnarray*}$

Y^{New} - U Z^{New}

$Y^{\text{New}} - U Z^{\text{New}}$

U Z^{New} - U \hat{Z}

$U Z^{\text{New}} - U \hat{Z}$

U

$U$ 具有正交列。数量是一个错误，我们无法获取有关的任何信息，但也不依赖于。为了最小化左侧的预测误差，我们必须最小化右侧的第二项。

{Err}_{0}

$\text{Err}_0$

λ

$\lambda$

通过标准计算在这里，被称为使用参数进行岭回归的有效自由度。的无偏估计是

\begin{array}{rcl} E | | Z^{New} - \hat{Z} | |^{2} & = & E | | Z - \hat{Z} | |^{2} + 2 \sum_{i = 1}^{p} cov (Z_{i}, {\hat{Z}}_{i}) \\ = & E | | Z - \hat{Z} | |^{2} + 2 σ^{2} \underset{df (λ)}{\underset{⏟}{\sum_{i = 1}^{p} \frac{d_{i}^{2}}{d_{i}^{2} + λ}}} . \end{array}

$\begin{eqnarray*} E||Z^{\text{New}} - \hat{Z} ||^2 &= & E||Z - \hat{Z}||^2 + 2 \sum_{i=1}^p \text{cov}(Z_i, \hat{Z}_i) \\ & = & E||Z - \hat{Z}||^2 + 2 \sigma^2 \underbrace{\sum_{i=1}^p \frac{d_i^2}{d_i^2 + \lambda}}_{\text{df}(\lambda)}. \end{eqnarray*}$

df (λ)

$\text{df}(\lambda)$

λ

$\lambda$

E | | Z - \hat{Z} | |^{2}

$E||Z - \hat{Z}||^2$

err (λ) = | | Z - \hat{Z} | |^{2} = \sum_{i = 1}^{p} {(1 - \frac{d_{i}^{2}}{d_{i}^{2} + λ})}^{2} Z_{i}^{2} .

$\text{err}(\lambda) = ||Z - \hat{Z}||^2 = \sum_{i=1}^p \left(1 - \frac{d_i^2}{d_i^2 + \lambda}\right)^2 Z_i^2.$

我们将其与的（无偏）估计量结合起来因为我们知道，然后需要将其最小化。显然，这只能如果我们知道做，或在一个合理的猜测或估计的。

err (λ) + 2 σ^{2} df (λ)

$\text{err}(\lambda) + 2 \sigma^2 \text{df}(\lambda)$

E | | Z^{New} - \hat{Z} | |^{2}

$E||Z^{\text{New}} - \hat{Z} ||^2$

σ^{2}

$\sigma^2$

σ^{2}

$\sigma^2$

σ^{2}

$\sigma^2$

估计可能会有更多问题。可能表明因此，如果可以选择很小的使得平方偏差可以忽略，我们可以尝试将估计为这是否会工作，取决于很多。 $\sigma^2$

E | | Z - \hat{Z} | |^{2} = σ^{2} (p - \underset{d (λ)}{\underset{⏟}{\sum_{i = 1}^{p} \frac{d_{i}^{2}}{d_{i}^{2} + λ} (2 - \frac{d_{i}^{2}}{d_{i}^{2} + λ})}}) + bias (λ)^{2} .

$E||Z - \hat{Z}||^2 = \sigma^2\left(p - \underbrace{\sum_{i=1}^p \frac{d_i^2}{d_i^2 + \lambda}\left(2 - \frac{d_i^2}{d_i^2 + \lambda}\right)}_{\text{d}(\lambda)}\right) + \text{bias}(\lambda)^2.$

λ

$\lambda$

σ^{2}

$\sigma^2$

{\hat{σ}}^{2} = \frac{1}{p - d (λ)} | | Z - \hat{Z} | |^{2} .

$\hat{\sigma}^2 = \frac{1}{p-\text{d}(\lambda)} ||Z - \hat{Z}||^2.$

X

$X$

有关某些详细信息，请参见ESL中的 3.4.1节和第7章，或者GAM中可能更好的第2章。

— NRH
source

定义如问题和关于各种参数和套样品标签。然后是可计算的，因为未知的在展开两者时都消失了规范。 $β$ $β(λ,K)=[(X^TX)_{KK}+λI]^{−1}(X^TY)_K$ $\lambda$ $K$ $e(λ,K):=\|Xβ(λ,K)-Y\|^2-\|Xβ-Y\|^2$ $\|Y\|^2$

这导致以下算法：

为训练集某些选择计算。 $e(λ,K)$ $K$
将结果绘制为的函数。 $\lambda$
接受情节最平坦的值。 $\lambda$
使用作为最终估计。 $β^*=[X^TX+λI]^{−1}X^TY$

— 阿诺德·纽迈耶
source

我猜“情节最平坦的地方”将位于很小，大约为0 :)

λ

$\lambda$

— jbowman 2012年

@jbowman：仅当问题条件良好且不需要正则化时，才会发生这种情况，那么确实足够。在病态的情况下，由于过度拟合，对之外的项的预测将很差，因此将很大。

λ = 0

$\lambda=0$

K

$K$

e (λ, K)

$e(\lambda,K)$

— 阿诺德·诺伊迈耶

@ArnoldNeumaier：无法计算。我们只知道与每个预测变量的相关性。在“预测变量域”中，而不在“ Y域”中（如果N是样本量，p是预测变量数，则我们只有p值，每个预测变量一个）。

(X^{T} Y)_{K}

$(X^TY)_K$

(X^{T} Y)

$(X^TY)$

— Jag 2012年

@Jag：那么没有足够的信息来选择。但是一定是以某种方式收集的。如果在收集样品时将样品分成批，并为每批分别组装，则每个人可以保留一个批以进行交叉验证。

λ

$\lambda$

X^{T} Y

$X^TY$

k

$k$

X^{T} Y

$X^TY$

— Arnold Neumaier 2012年

@ArnoldNeumaier：是外部提供的，不收集。

X^{T} Y

$X^TY$

— Jag 2012年