LASSO假设


18

在LASSO回归方案中,

y=Xβ+ϵ

LASSO估计值由以下优化问题给出

minβ||yXβ||+τ||β||1

是否有关于分布假设?ϵ

在OLS场景中,人们会期望ϵ是独立的并且是正态分布的。

在LASSO回归中分析残差是否有意义?

我知道LASSO估计可以作为\ beta_j的独立双指数先验下的后验模式获得βj。但是我还没有找到任何标准的“假设检查阶段”。

提前致谢 (:

Answers:


16

我不是LASSO专家,但这是我的看法。

首先请注意,OLS对于违反独立性和正常性非常强大。然后从定理7和本文中它上面的讨论判断稳健回归和套索(由X.还,C. Caramanis和S. Mannor)我想,即在LASSO回归我们更具有的分布而言不但在y ix i的联合分布中。该定理依赖于y ix i是一个样本的假设,因此可以与通常的OLS假设进行比较。但Lasso是限制较少,但并不限制ÿ εi(yi,xi)(yi,xi)yi 由线性模型生成。

综上所述,第一个问题的答案为否。没有关于分布假设,所有分布假设都在y X )上。此外,它们较弱,因为在LASSO中,没有任何条件假设是条件分布y | X ε(y,X)(y|X)

话虽如此,第二个问题的答案也是“否”。由于不起作用,因此无法像在OLS中进行分析一样对它们进行分析(正态性检验,异方差,Durbin-Watson等)。但是,您应根据上下文分析模型的适用性。ε

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.