交叉验证（CV）和广义交叉验证（GCV）统计数据

我发现交叉验证（CV）统计信息和与线性模型$Y = X\boldsymbol\beta + \boldsymbol\varepsilon$（具有正态，均等误差向量$\boldsymbol\varepsilon$）。

一方面，Golub，Heath和Wahba将GCV估计$\hat{\lambda}$为（p。216）

$V\left(\lambda\right)$给出的 V \ left（\ lambda \ right）的极小值= \ frac {\ frac {1} {n} \ left \ | \ left（I-A \ left（\ lambda \ right）\ right）y \ right \ | ^ 2} {\ left（\ frac {1} {n} \ mathrm {tr} \ left（I-A \ left（\ lambda \ right）\ right）\ right ）^ 2}

$$V\left(\lambda\right) = \frac{\frac{1}{n} \left\|\left(I - A\left(\lambda\right)\right)y\right\|^2}{\left(\frac{1}{n} \mathrm{tr}\left(I - A\left(\lambda\right)\right)\right)^2}$$ 其中$A\left(\lambda\right) = X\left(X^T X + n\lambda I\right)^{-1} X^T$

另一方面，埃夫隆（Efron）定义了与V \ left（0 \ right）相同的概念$V\left(0\right)$（第24页），但他将此概念的引入归因于Craven＆Wahba，其定义（第377页）基本相同如Golub，Heath＆Wahba的上述定义。

这是否意味着$0$使V \ left（\ lambda \ right）最小化$V\left(\lambda\right)$？

类似地，Golub，Heath和Wahba将\ lambda的CV估计值定义为$\lambda$（p。217）作为

$$P\left(\lambda\right) = \frac{1}{n}\sum_{k=1}^n \left(\left[X \beta^{(k)}\left(\lambda\right)\right]_k - y_k\right)^2$$

其中$\beta^{\left(k\right)}\left(\lambda\right)$是估算值

$$\hat{\beta}\left(\lambda\right) = \left(X^T X + n \lambda I\right)^{-1} X^T y$$

的$\beta$与$k$个数据点$y_i$删去。

作者将CV估算（也称为PRESS估算）的引入归因于Allen（同上，“ Allen PRESS”）。然而，在Allen的论文中，PRESS估算定义为（p。126）为$n P\left(0\right)$（在Efron的文章中定义为$P\left(0\right)$（第24页））。

同样，这是否意味着$0$最小化$P\left(\lambda\right)$？

---

1. Allen，DavidM。变量选择与数据参数化之间的关系以及一种预测方法。技术计量学，卷。第16号，第1号（1974年2月），第125-127页

2. Craven，Peter和Wahba，Grace。使用样条函数平滑噪声数据。Numerische Mathematik 31，（1979），第377-403页

3. 埃弗隆·布拉德利。Logistic回归的表观错误率有多高？技术报告编号 232.斯坦福大学统计系（1985年4月）

4. Golub，Gene H.，Heath和Grace Wahba。广义交叉验证作为一种选择良好岭参数的方法。技术计量学，卷。21，No.2（1979年5月），第215-223页

我认为这些评论指向的是答案，但请不要直言不讳。所以我会直率的。

这里引用的V公式特定于线性脊回归。他们没有说它与PRESS相同，而是说它是PRESS的旋转不变版本。“旋转不变”部分是使它广义化的原因。

埃夫隆（Efron）的论文是关于逻辑回归的，它是针对这种情况而定制的。如果您想查看两个上下文之间的数学转换，那么最适合阅读的书是Hastie，Tibshirani和Freedman撰写的2ed of Statistics Learning。他们免费在线提供该书：https : //web.stanford.edu/~hastie/Papers/ESLII.pdf。关于GCV的另一个有用的读物​​是Simon Wood的Generalized Additive Models。他的治疗方法将GCV通常与回归和逻辑回归中的应用集成在一起。

如果您看一下ESL书，第244页，您会发现基本上是相同的符号体系。他们将您拥有的大型矩阵产品称为“平滑器”矩阵（我说它是Hat矩阵或近亲）。他们将平滑器描述为从到的映射$S$$y$ÿ$\hat{y}$

$$\hat{y}=S y$$

$S$可用于计算留出的CV值，数据中的每一行一个。对于线性模型，矩阵在回归诊断中扮演Hat矩阵的角色。但是，他们说解决这一问题可能在计算上具有挑战性或不必要，并且GCV方法是同一想法的更通用的版本。$S$

他们提供了近似 GCV 的公式：

$$GCV(\hat{f})=\frac{1}{N}\sum_{i=1}^{N}\left[\frac{y_i - \hat{f}(x_i)}{1-trace(S)/N}\right]^2$$

在许多模型中，这在行为上与AIC非常相似。该是参数的有效数量。$trace{S}$

您引用的片段通常是的痕迹。据我了解，在抽象的GCV中，是撇除交叉验证的近似版本，但在某些情况下（我相信是岭回归），这是准确的。这是Golub论文的重点。$n\lambda$$S$

祝您好运，如果您了解更多，请回信。