套索如何随设计矩阵大小缩放？

如果我有一个设计矩阵，其中是尺寸的观察次数，什么是求解的复杂性 $X\in\mathcal{R}^{n\times d}$ $n$ $d$ 与LASSO，wrt和？我认为答案应该是关于一个LASSO迭代如何使用这些参数缩放，而不是迭代次数（收敛）如何缩放，除非您另有感觉。 $\hat{\beta}=\text{argmin}_{\beta}\frac{1}{2n} ||X\beta-y||^{2} + \lambda||\beta||_{1}$ $n$ $d$

我已经阅读了以前的LASSO复杂性问题，但似乎与此处和此处有关glmnet的讨论不一致。我知道那里有很多算法，包括glmnet的GLM方法，但是我正在写一篇有关将LASSO组件替换为父算法的论文，并且希望包括关于LASSO复杂性的讨论，特别是和。我也想知道在基本的非稀疏情况下glmnet的复杂性，但是由于整个算法的复杂性不是很明确，因此参考文献有些令人困惑。 $d$ $n$

— 面条
source

目前尚不清楚为什么这个答案stats.stackexchange.com/a/190717/28666（在您链接到的线程中）不能回答您的问题。你能详细说明吗？什么跟什么不符？

— 变形虫

[pdf] [1]中的第6页指出“因此，通过所有d变量的完整循环成本为

”。但是，您链接到状态

。我是否在这里错过了获得

复杂度的循环？[1]：jstatsoft.org/article/view/v033i01

O (d n)

$O(dn)$

O (d^{2} n)

$O(d^{2}n)$

d^{2}

$d^{2}$

— rnoodle

@amoeba您提供的链接用于LARS算法-我想了解GLM方法。

— rnoodle '17

最小角度回归的参考

和坐标下降的参考

是正确的。区别在于（1）LARS可以找到

的精确解（并且这样做的可能性是遍历可能的

的整个路径，其复杂度等于OLS问题到整个问题，并且也随着

），而（2）坐标下降仅在

O (d^{2} n)

$\mathcal{O}(d^2n)$

O (d n)

$\mathcal{O}(dn)$

O (d^{2} n)

$\mathcal{O}(d^2n)$

λ

$\lambda$

O (d^{2} n)

$\mathcal{O}(d^2n)$

，收敛/“下降”更接近LASSO问题的最小值。LARS使用

步。随着协调下降...没人知道。

O (d n)

$\mathcal{O}(dn)$

d

$d$

— Sextus Empiricus

参考文献的答案，

用于最小角度回归 $\mathcal{O}(d^2n)$
表示坐标下降 $\mathcal{O}(dn)$

，是正确的。

区别在于

LARS方程以封闭形式编写，可以找到精确的解

（并且这样做会遍历整个可能的λ路径，而计算复杂度的缩放与寻找普通最小二乘问题的解相同，该问题的最小缩放也为） $O(d^2n)$

而

坐标下降是一种近似解的迭代方案。所提到的步骤（其计算成本标度为）只是“一个”近似步骤，收敛/“下降”得更接近LASSO问题的最小值。 $\mathcal{O}(dn)$

$d$ $\mathcal{O}((d-k)n+k^2)$ $d-k$ $k$

$d^2n$ $d$ $d$ $d>>100$ $d=100$

缩放LARS是一个涉及计算复杂性的问题。缩放坐标下降是一个涉及计算复杂性和收敛性的问题。

— 天性
source