拉索回归的时间复杂度是多少？

随着行数或列数的增长，Lasso回归的渐近时间复杂度是多少？

回想一下套索是具有$l_1$正则化的线性模型。

查找参数可以公式化为无约束优化问题，其中参数由

$\arg \min_\beta ||y - X\beta||^2 + \alpha||\beta||_1$。

在约束形式中，参数由下式给出

$\arg \min_\beta ||y - X\beta||^2 s.t.||\beta||_1 < \alpha$

这是二次规划问题，因此是多项式。

几乎所有凸优化例程，甚至对于诸如神经网络之类的灵活非线性事物，都依赖于计算目标wrt参数的导数。您不能取的导数。| w | | 1。因此，您依赖于不同的技术。查找参数的方法有很多。这是一篇有关该主题的评论文章，即采用L1-范数正则化的最小二乘优化。迭代凸优化的时间复杂度很难分析，因为它取决于收敛准则。通常，随着观察值的增加，迭代问题收敛于更少的时期。$\alpha||w||_1$

虽然@JacobMick提供了更广泛的概述以及指向评论文章的链接，但让我给出“捷径答案”（可以将其视为特例）。

$K$$n$$\mathcal{O}(K^3 + K^2 n)$

• $K<n$$K^3 < K^2 n$$\mathcal{O}(K^2 n)$$K$
• ķ 3 ⩾ ķ 2 Ñ ø（ķ 3$K \geqslant n$$K^3 \geqslant K^2 n$$\mathcal{O}(K^3)$

参考文献：

• Efron，Bradley等。“最小角度回归”。 统计年鉴 32.2（2004）：407-499。
• 施密特，马克。“使用l1-范数正则化的最小二乘优化。” CS542B项目报告（2005年）。