统计人员说我们不太了解LASSO（正则化）的工作原理是什么意思？

10

我最近去过一些关于套索（正则化）的统计讨论，并且不断出现的一点是，我们并不真正了解套索为什么起作用或为什么这么好。我想知道这句话指的是什么。显然，我理解了套索为什么通过防止参数缩小来防止过度拟合而在技术上起作用的原因，但是我想知道这样的声明背后是否还有更深层的含义。有人有什么想法吗？谢谢！

machine-learning lasso regularization

— 用户名
source

1

定义“作品”。到底能做什么？努力增加稀疏性？可以防止过度拟合？是否可以进行合理的统计检验？-或者换句话说，在这种情况下“不起作用”是什么意思？-从您对当前答案的评论中可以看出，您所追求的内容有些混乱。

— RM

@RM，您实际上只是在改写OP，恕我直言。OP可能与您难以识别的未知数相同。

— 理查德·哈迪

1

@RichardHardy我知道可能是这种情况，但如果是这样，我希望OP至少可以在提出问题的那些统计会谈中扩大背景，以希望帮助我们集中讨论那些发言人可能会谈的问题。一直在想。

— RM

@RM，那么好。

— 理查德·哈迪

Answers:

11

在工作统计学家和学习诸如套索之类的方法的学习理论团体之间有时缺乏沟通。套索的理论特性实际上已经被很好地理解。

本文档在第4节中概述了它所享有的许多特性。结果是相当技术性的，但是本质上是：

对于一些足够大的数据集，它在一些温和的假设下以很高的概率恢复了稀疏权重向量的真实支持（非零项的集合）。
$X$

— 亚伦·德法齐奥
source

3

如果理解Lasso的工作原理是指理解为什么Lasso进行特征选择（即将某些特征的权重设置为正好为0），那么我们可以很好地理解这一点：

— s
source

4

感谢您提供一个很好的说明，但是我怀疑这不是OP感兴趣的部分。当然，这取决于OP。

— 理查德·哈迪

我不了解您图表的要点。

— Michael R. Chernick

7

L_{1}

$L_1$

\hat{λ}

$\hat \lambda$

4

@Chaconne，您的观点构成了答案的重要基础！

— 理查德·哈迪

1

@Chaconne，它似乎产生，虽然通过标识我们有益的讨论也都懂套索！

— rinspy

2

存在模型选择一致性的符号恢复问题（统计学家已回答），并且

存在推论问题（为估算值构建良好的置信区间），这一直是研究的主题。

大多数工作是由统计人员完成的，而不是由“学习理论界”完成的。

— 高正
source

这如何增加已经给出的？

— Michael R. Chernick

这里没有人提到推理问题，我认为这是首先提出主张（“它没有被充分理解”）的原因。

— 高征

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.

Licensed under cc by-sa 3.0 with attribution required.