Questions tagged «lasso»

在我看到的几个答案中，CrossValidated用户建议OP查找有关Lasso，Ridge和Elastic Net的早期论文。 为了后代，关于套索，岭和弹性网的开创性著作是什么？

10 references  lasso  regularization  ridge-regression  elastic-net 

如果我有一个设计矩阵，其中Ñ是尺寸的观察次数d，什么是求解的复杂性β = argmin β 1X∈ [Rn × dX∈[Rn×dX\in\mathcal{R}^{n\times d}ññnddd与LASSO，wrtn和d？我认为答案应该是关于一个LASSO迭代如何使用这些参数缩放，而不是迭代次数（收敛）如何缩放，除非您另有感觉。β^=argminβ1个2 n| |Xβ-y| |2+ λ | |β| |1个β^=精氨酸β1个2ñ||Xβ-ÿ||2+λ||β||1个\hat{\beta}=\text{argmin}_{\beta}\frac{1}{2n} ||X\beta-y||^{2} + \lambda||\beta||_{1}nñnddd 我已经阅读了以前的LASSO复杂性问题，但似乎与此处和此处有关glmnet的讨论不一致。我知道那里有很多算法，包括glmnet的GLM方法，但是我正在写一篇有关将LASSO组件替换为父算法的论文，并且希望包括关于LASSO复杂性的讨论，特别是和n。我也想知道在基本的非稀疏情况下glmnet的复杂性，但是由于整个算法的复杂性不是很明确，因此参考文献有些令人困惑。dddnnn

10 optimization  lasso  regularization  time-complexity 

我最近去过一些关于套索（正则化）的统计讨论，并且不断出现的一点是，我们并不真正了解套索为什么起作用或为什么这么好。我想知道这句话指的是什么。显然，我理解了套索为什么通过防止参数缩小来防止过度拟合而在技术上起作用的原因，但是我想知道这样的声明背后是否还有更深层的含义。有人有什么想法吗？谢谢！

10 machine-learning  lasso  regularization 

[ 这里提出了类似的问题，但没有答案] 我已经使用L1正则化拟合了逻辑回归模型（套索逻辑回归），我想测试拟合系数的显着性并获得其p值。我知道Wald的检验（例如）是在不进行正则化的情况下测试单个系数在完全回归中的显着性的一种选择，但是对于Lasso，我认为会出现更多的问题，这些问题不允许使用常规的Wald公式。例如，检验所需的方差估计不遵循通常的表达式。套索纸原件 http://statweb.stanford.edu/~tibs/lasso/lasso.pdf 建议使用基于引导程序的程序来估计系数方差，（再次，我认为）测试可能需要此方差（第2.5节，第272页的最后一段和273的开头）： 一种方法是通过引导程序：要么可以固定要么可以针对每个引导程序样本对进行优化。固定类似于选择（特征的）最佳子集，然后对该子集使用最小二乘标准误差ttttttttt 我的理解是：反复将Lasso回归拟合到整个数据集，直到找到正则化参数的最佳值（这不是引导程序的一部分），然后仅使用由Lasso选择的特征将OLS回归拟合到子样本数据并应用通常的公式来计算每个回归的方差。（然后，我该如何处理每个系数的所有这些方差以获得每个系数的最终方差估计？） 此外，将常用的显着性检验（例如Wald检验利用估计的beta和方差）与系数的Lasso估计和自举估计方差一起使用是否正确？我可以肯定它不是，但是任何帮助（使用其他测试，使用更直接的方法，无论如何...）都非常受欢迎。 根据这里的答案，我怀疑无法得出推论和p值。就我而言，p值是一个外部要求（尽管我选择使用L1正则化）。 非常感谢 编辑 如果我仅使用上一次套索逻辑回归所选择的变量来拟合OLS逻辑回归怎么办？显然（请参阅此处）， 进行交叉验证后，无需再次运行模型（您只需从cv.glmnet的输出中获取系数），实际上，如果您在不惩罚的情况下拟合新的逻辑回归模型，那么您将无法使用套索 但是，如果我这样做的唯一目的是能够在不使变量数量减少的情况下计算p值呢？这是一个很肮脏的方法吗？:-)

10 logistic  statistical-significance  regression-coefficients  lasso 

我想知道如何使用R中的glmnet正确地训练和测试LASSO模型？ 具体来说，我想知道如果缺少外部测试数据集该如何使用交叉验证（或其他类似方法）来测试我的LASSO模型，该怎么做。 让我分解一下情况： 我只有一个数据集来通知和训练我的glmnet模型。结果，我将不得不使用交叉验证来拆分数据，以生成一种测试模型的方法。 我已经在使用cv.glmnet，根据软件包的详细信息： 对glmnet进行k折交叉验证，生成图并返回lambda的值。 进行交叉验证cv.glmnet只是为了选择最佳的λ，还是作为更通用的交叉验证程序？ 换句话说，我还需要执行另一个交叉验证步骤来“测试”我的模型吗？ 我正在假设“是的”。 既然如此，我该如何交叉验证我的cv.glmnet模型？ 我是否必须手动执行此caret功能，或者该功能对glmnet模型有用吗？ 我是否使用交叉验证的两个同心“循环”？...我是否使用CV的“内循环” cv.glmnet来确定k倍交叉验证处理的“外部循环”的每k倍内的最佳lambda值？ 如果我对已经进行交叉验证的cv.glmnet模型进行交叉验证，那么如何cv.glmnet在交叉验证的“外部循环”的每一折中将“最佳”模型（与“最佳” lambda值隔离）与每个模型隔离？ 注：我定义“最好”的模式，与产生最小的1 SE内的MSE拉姆达关联的模型......这是$lambda.1se在cv.glmnet模型。 内容： 我正在尝试根据树木直径（“ D”），D ^ 2和种类（“ factor（SPEC）”）来预测树木年龄（“年龄”）。[结果方程式：Age ~ D + factor(SPEC) + D^2]。我有约5万行数据，但数据是纵向的（通过时间跟踪个体），由约65种组成。

10 r  cross-validation  glmnet  lasso 

在我的机器学习课程中，我们了解了LASSO回归如何很好地执行特征选择，因为它利用了正则化。升1个升1个l_1 我的问题是：人们通常是仅使用LASSO模型进行特征选择（然后将这些特征转储到其他机器学习模型中），还是通常使用LASSO进行特征选择和实际回归？ 例如，假设您想进行岭回归，但是您认为许多功能都不是很好。运行LASSO，仅提取算法未将其归零的功能，然后仅将那些功能用于将数据转储到ridge回归模型中是否明智？这样，您将获得正则化用于执行特征选择的好处，还正则化用于减少过度拟合的好处。（我知道这基本上等于弹性净回归，但是似乎您不需要在最终回归目标函数中同时拥有l_1和l_2项。）升1个升1个l_1升2升2l_2升1个升1个l_1升2升2l_2 除了回归之外，在执行分类任务（使用SVM，神经网络，随机森林等）时，这是否是明智的策略？

10 feature-selection  lasso  regression-strategies 

我使用以下方法从原始完整模型中获得了三个简化模型 前向选择 向后淘汰 L1惩罚技术（LASSO） 对于使用前向选择/后向消除得到的模型，我使用获得的预测误差的横验证估计CVlm在包DAAG提供R。对于通过LASSO选择的模型，我使用cv.glm。 LASSO的预测误差小于其他方法的预测误差。因此，通过LASSO获得的模型在预测能力和可变性方面似乎更好。这是一种经常发生的普遍现象，还是特定于问题的？如果这是普遍现象，那么理论上的依据是什么？

10 cross-validation  model-selection  lasso  stepwise-regression 

我正在阅读与弹性网有关的这篇文章。他们说他们使用弹性网，因为如果我们仅使用套索，它倾向于在高度相关的预测变量中仅选择一个预测变量。但这不是我们想要的。我的意思是，它使我们免于多重共线性的麻烦，不是吗。 有什么建议/澄清吗？

10 regression  lasso  elastic-net 

我正在寻找一个直观的答案，为什么GLM LASSO模型会从一组高度相关的预测器中选择一个特定的预测器，以及为什么这样做与最佳子集特征选择不同。 根据1996年Tibshirani中图2所示的LASSO的几何形状，我认为LASSO选择方差更大的预测变量。 现在，假设我使用具有10倍CV的最佳子集选择来获得2个逻辑回归模型的预测变量，并且我具有合理的先验知识，这2个预测变量是最优的（0-1损失意义上）。 LASSO解决方案偏向于使用较少的简约（5个预测变量）解决方案，并具有较大的预测误差。凭直觉，是什么导致差异出现？是因为LASSO在相关预测变量中进行选择的方式吗？

10 feature-selection  lasso 

我正在使用R在R中拟合线性模型glmnet。原始（非正规化）模型使用来拟合，lm并且没有常数项（即，形式为lm(y~0+x1+x2,data)）。 glmnet采用预测变量矩阵和响应向量。我一直在阅读glmnet文档，找不到常量术语。 那么，有没有办法要求glmnet通过原点强制线性拟合呢？

10 r  regression  lasso 

我知道对ridge和lasso回归的特征进行标准化是一种常见的做法，但是，将这些特征归一化为（0,1）尺度的特征来替代这些回归方法的z评分标准化是否会更加实用？

10 normalization  lasso  standardization  ridge-regression 

如何执行非负岭回归？非负套索可在中找到scikit-learn，但对于ridge，我无法强制beta的非负性，实际上，我得到的是负系数。有人知道为什么吗？ 另外，我可以按照规则的最小二乘法实施ridge吗？将此问题移至另一个问题：我可以根据OLS回归实现岭回归吗？

10 regression  lasso  regularization  ridge-regression 

R函数cv.glm（库：引导）为广义线性模型计算估计的K折交叉验证预测误差，并返回增量。使用此函数进行套索回归（库：glmnet）是否有意义？如果是，如何进行？glmnet库使用交叉验证来获得最佳的车削参数，但是我没有找到任何交叉验证最终glmnet方程的示例。

10 r  regression  cross-validation  lasso  glmnet 

惩罚模型可用于估计参数数量等于或大于样本大小的模型。在大型稀疏分类或计数数据表的对数线性模型中可能会出现这种情况。在这些情况下，通常还希望通过组合某个因子的级别来折叠表格，而这些因子的级别在它们与其他因子的交互方式方面是无法区分的。两个问题： 有没有办法使用诸如LASSO或弹性网之类的惩罚模型来测试每个因素中各个级别的可折叠性？ 如果第一个问题的答案是肯定的，那么是否可以而且应该以这样的方式进行设置：水平崩溃和模型系数的估计可以一步完成？

10 categorical-data  lasso  elastic-net  log-linear  many-categories 

我有一个约有5,000个经常相关的特征/协变量和二进制响应的数据集。数据是给我的，我没有收集。我使用套索和梯度提升来构建模型。我使用迭代的嵌套交叉验证。我报告了Lasso在梯度增强树中最大（绝对）的40个系数和40个最重要的特征（40个并没有什么特别的；它似乎是一个合理的信息量）。我还报告了这些数量在CV的折叠和迭代中的变化。 我有点想“重要”功能，不对p值或因果关系或其他任何东西做任何陈述，而是考虑将此过程视为一种现象-尽管不完美，而且是某种随机性-而不是某种现象。 假设我正确完成了所有这些操作（例如，正确执行了交叉验证，针对套索进行了缩放），这种方法是否合理？是否存在多个假设检验，事后分析，错误发现等问题？还是其他问题？ 目的 预测不良事件的可能性 首先，准确估计概率 更为次要的是，作为一项健全性检查，但也许还可以揭示一些可以进一步研究的新颖预测变量，请检查上述系数和重要性。 消费者 有兴趣预测此事件的研究人员以及最终不得不修复该事件的人员 我希望他们摆脱困境 如果他们希望使用自己的数据重复所述的建模过程，则使他们能够预测事件。 为意外的预测因素提供一些启示。例如，可能发现完全出乎预料的是最佳预测器。因此，其他地方的建模者可能会更认真地考虑所述预测变量。

9 machine-learning  multiple-comparisons  regression-coefficients  lasso  high-dimensional