Questions tagged «lasso»

假设我想估算大量参数，并且想对其中一些参数进行惩罚，因为我认为它们与其他参数相比影响不大。如何决定使用哪种惩罚方案？什么时候进行岭回归更合适？我什么时候应该使用套索？

167 regression  lasso  ridge-regression 

我正在阅读有关线性回归的书籍。关于L1和L2范数有一些句子。我了解它们，只是不明白为什么L1规范适用于稀疏模型。有人可以给一个简单的解释吗？

97 regression  lasso  regularization  ridge-regression 

在什么情况下应该考虑使用正则化方法（岭，套索或最小角度回归）而不是OLS？ 如果这有助于引导讨论，我的主要兴趣是提高预测准确性。

83 regression  least-squares  lasso  ridge-regression  fused-lasso 

我正在寻找套索的非技术定义及其用途。

81 regression  lasso  regularization  shrinkage 

我开始与使用的涉猎glmnet与LASSO回归那里我感兴趣的结果是二分。我在下面创建了一个小的模拟数据框： age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p <- c(0.86, 0.45, 0.99, 0.84, 0.85, 0.67, 0.91, 0.29, 0.88) m_edu <- c(0, 1, 1, 2, 2, 3, 2, 0, 1) p_edu <- c(0, 2, 2, …

77 r  self-study  lasso  regression  interpretation  anova  statistical-significance  survey  conditional-probability  independence  naive-bayes  graphical-model  r  time-series  forecasting  arima  r  forecasting  exponential-smoothing  bootstrap  outliers  r  regression  poisson-distribution  zero-inflation  genetic-algorithms  machine-learning  feature-selection  cart  categorical-data  interpretation  descriptive-statistics  variance  multivariate-analysis  covariance-matrix  r  data-visualization  generalized-linear-model  binomial  proportion  pca  matlab  svd  time-series  correlation  spss  arima  chi-squared  curve-fitting  text-mining  zipf  probability  categorical-data  distance  group-differences  bhattacharyya  regression  variance  mean  data-visualization  variance  clustering  r  standard-error  association-measure  somers-d  normal-distribution  integral  numerical-integration  bayesian  clustering  python  pymc  nonparametric-bayes  machine-learning  svm  kernel-trick  hyperparameter  poisson-distribution  mean  continuous-data  univariate  missing-data  dag  python  likelihood  dirichlet-distribution  r  anova  hypothesis-testing  statistical-significance  p-value  rating  data-imputation  censoring  threshold 

我一直在阅读《统计学习的元素》，我想知道为什么套索不能提供变量选择，而岭回归却不提供。 两种方法都将残差平方和最小化，并对参数的可能值具有约束。对于套索，约束是，而对于山脊，约束是，对于某些。ββ\beta| | β | | 2 ≤ 吨吨||β||1≤t||β||1≤t||\beta||_1 \le t||β||2≤t||β||2≤t||\beta||_2 \le tttt 我已经看过这本书中的菱形与椭圆形图片，对于套索为什么会碰到约束区域的角点，我有一些直觉，这意味着系数之一设置为零。但是，我的直觉很弱，我没有被说服。它应该很容易看到，但是我不知道为什么这是真的。 因此，我想我正在寻找数学上的证明，或者是对为什么残留平方和的轮廓可能会击中约束区域的角的直观解释 （而这种情况不太可能发生，约束是）。| | β | | 2||β||1||β||1||\beta||_1||β||2||β||2||\beta||_2

75 regression  feature-selection  lasso  regularization 

假期的来临使我有机会借助“统计学习的要素”在火炉旁next 缩。从计量经济学的角度来看，我在掌握收缩方法（如岭回归，套索和最小角度回归（LAR））的使用方面遇到了麻烦。通常，我对参数估计值本身以及实现无偏见或至少一致感兴趣。收缩方法不能做到这一点。 在我看来，当统计人员担心回归函数对预测变量过于敏感时，会使用这些方法，因为它认为预测变量比实际更为重要（通过系数的大小来衡量）。换句话说，过度拟合。 但是，OLS通常会提供无偏且一致的估计。（脚注）我一直认为过拟合的问题不是给出太大的估计，而是给出过小的置信区间，因为未考虑选择过程（ ESL提到了后者。 无偏/一致的系数估计会导致对结果的无偏/一致的预测。收缩方法使预测比OLS更接近平均结果，似乎在桌上留下了信息。 重申一下，我没有看到收缩方法试图解决什么问题。我想念什么吗？ 脚注：我们需要完整的列级条件来识别系数。误差的外生性/零条件均值假设和线性条件期望假设决定了我们可以对系数进行的解释，但是即使这些假设不成立，我们也可以得到无偏或一致的估计值。

61 lasso  ridge-regression  shrinkage  lars 

我正在尝试使用LASSO模型进行预测，并且需要估算标准误差。肯定有人已经编写了一个软件包来执行此操作。但是据我所知，使用LASSO进行预测的CRAN程序包都不会返回这些预测的标准错误。 所以我的问题是：是否有可用的软件包或一些R代码来计算LASSO预测的标准误差？

60 r  standard-error  prediction  lasso 

据我所知，使用套索进行变量选择可以解决相关输入的问题。而且，由于它等效于最小角度回归，因此在计算上并不慢。但是，许多人（例如，我认识的从事生物统计学的人）似乎仍然倾向于逐步或阶段性变量选择。使用套索有任何实际的不利之处吗？

60 regression  feature-selection  lasso 

为了解决模型选择的问题，许多方法（LASSO，岭回归等）会将预测变量的系数缩​​小为零。我正在寻找一个直观的解释，为什么这会提高预测能力。如果变量的真实影响实际上很大，为什么不缩小参数会导致更糟的预测呢？

55 lasso  regularization  ridge-regression  intuition  shrinkage 

minβ(Y−Xβ)T(Y−Xβ)minβ(Y−Xβ)T(Y−Xβ)\min_\beta (Y-X\beta)^T(Y-X\beta)∥β∥1≤t‖β‖1≤t\|\beta\|_1 \leq tβlassoj=sgn(βLSj)(|βLSj|−γ)+βjlasso=sgn(βjLS)(|βjLS|−γ)+ \beta_j^{\text{lasso}}= \mathrm{sgn}(\beta^{\text{LS}}_j)(|\beta_j^{\text{LS}}|-\gamma)^+ XXX

52 lasso 

我想从30个独立变量中找到连续因变量的预测变量。我正在使用在R 中的glmnet包中实现的Lasso回归。这是一些伪代码： # generate a dummy dataset with 30 predictors (10 useful & 20 useless) y=rnorm(100) x1=matrix(rnorm(100*20),100,20) x2=matrix(y+rnorm(100*10),100,10) x=cbind(x1,x2) # use crossvalidation to find the best lambda library(glmnet) cv <- cv.glmnet(x,y,alpha=1,nfolds=10) l <- cv$lambda.min alpha=1 # fit the model fits <- glmnet( x, y, family="gaussian", alpha=alpha, nlambda=100) res <- predict(fits, …

40 r  multiple-regression  lasso  glmnet  communication 

抱歉，这个问题有点基本。 我正在寻找在R中的多元线性回归模型中使用LASSO变量选择的方法。我有15个预测变量，其中之一是分类的（会引起问题吗？）。设置好和我使用以下命令：ÿXxxÿyy model = lars(x, y) coef(model) 我的问题是我何时使用coef(model)。这将返回一个包含15行的矩阵，每次添加一个额外的预测变量。但是，没有建议选择哪种模型。我错过了什么吗？有没有办法让我的lars包返回一个“ 最佳 ”模型？ 还有其他文章建议使用glmnet代替，但这似乎更复杂。尝试如下，使用相同的和。我在这里错过了什么吗？： ÿXxxÿyy cv = cv.glmnet(x, y) model = glmnet(x, y, type.gaussian="covariance", lambda=cv$lambda.min) predict(model, type="coefficients") 最后一条命令返回我的变量列表，大多数变量带有系数，尽管有些为= 0。这是LASSO 选择的“ 最佳 ”模型的正确选择吗？然后，如果我用所有具有系数的变量拟合线性模型，则not=0得到的系数估计值非常相似，但略有不同。有什么区别的原因吗？用LASSO选择的这些变量重新拟合线性模型并将其作为我的最终模型是否可以接受？否则，我将看不到任何有意义的p值。我错过了什么吗？ 是否 type.gaussian="covariance" 确保glmnet使用多元线性回归？ 变量的自动归一化是否会完全影响系数？有什么方法可以在LASSO程序中包括交互项？ 我希望更多地使用此过程来演示如何使用LASSO，而不是将其实际用于任何重要的推断/预测（如果发生任何变化）的任何模型。 感谢您抽出时间来阅读。对于LASSO / lars / glmnet的任何一般性评论也将不胜感激。

39 feature-selection  lasso  glmnet  lars 

最小角度回归和套索趋向于产生非常相似的正则化路径（除系数为零外，其余均相同）。 它们都可以通过几乎相同的算法有效地拟合。 是否有任何实际的理由偏爱一种方法而不是另一种方法？

39 regression  lasso 

我很好奇为什么通常只有和规范正则化。有证据证明为什么这些更好吗？L1L1L_1L2L2L_2

36 lasso  regularization  ridge-regression