Ridge和LASSO具有协方差结构？

在阅读了《统计学习的要素》（Hastie，Tibshrani和Friedman）的第3章之后，我想知道是否有可能在给定协方差结构的情况下实现此问题标题上引用的著名收缩方法，即最小化（也许更一般））数量

（ \vec{ÿ} - X \vec{β} ）^{Ť} V^{- 1个} （ \vec{ÿ} - X \vec{β} ） + λ F （ β ） ， （ 1个 ）

$(\vec{y}-X\vec{\beta})^TV^{-1}(\vec{y}-X\vec{\beta})+\lambda f(\beta),\ \ \ (1)$

而不是通常的这主要是由于以下事实：在我的特定应用中，我们对具有不同的方差（有时甚至可以估算出协方差结构），我很乐意将其包括在内他们在回归。我这样做是为了进行岭回归：至少通过在Python / C中实现它，我发现系数追踪的路径存在重要差异，这在比较两种情况下的交叉验证曲线时也很明显。

（ \vec{ÿ} - X \vec{β} ） （ \vec{ÿ} - X \vec{β} ） + λ F （ β ） 。 （ 2 ）

$(\vec{y}-X\vec{\beta})(\vec{y}-X\vec{\beta})+\lambda f(\beta).\ \ \ \ \ \ \ \ \ \ \ \ (2)$

\vec{y}

$\vec{y}$

我现在准备尝试通过最小角度回归来实现LASSO，但是为了做到这一点，我必须首先证明，当最小化而不是时，其所有不错的属性仍然有效。到目前为止，我还没有看到任何能真正完成所有这些工作的工作，但是一段时间前，我还读了一句话，上面写着“ 那些不知道统计数字的人注定要重新发现它 ”（也许是布拉德·埃夫隆（Brad Efron）？），所以这就是为什么我首先在这里问（考虑到我是统计学文献的一个相对较新的人）：对于这些模型，这已经在某处完成了吗？它以某种方式在R中实现了吗？（包括通过最小化而不是来解决问题和解决方案 $(1)$ $(2)$ $(1)$ $(2)$ ，这在R）的lm.ridge代码中实现了什么？

预先感谢您的回答！

lasso ridge-regression

— 内斯托
source

先前的答案也已在en.wikipedia.org/wiki/Generalized_least_squares中报告了更多详细信息。该解决方案可以使用可行的广义最小二乘（FGLS）方法实现

— Nicola Jean

如果我们知道Cholesky分解，则，我们可以使用标准算法（具有首选的惩罚功能），方法是将响应替换为向量，将预测变量替换为矩阵。 $V^{-1} = L^TL$

（ ÿ - X β ）^{Ť} V^{- 1个} （ ÿ - X β ） = （ 大号 ÿ - 大号 X β ）^{Ť} （ 大号 ÿ - 大号 X β ）

$(y - X\beta)^T V^{-1} (y - X\beta) = (Ly - LX\beta)^T (Ly - LX\beta)$

L y

$Ly$

L X

$LX$

— NRH
source