套索的最佳罚分选择

15

是否有关于任何分析结果或实验论文最优的系数的选择罚项。通过优化，我的意思是最大化选择最佳模式，或最大限度地减少预期损失的概率相关的参数。我之所以问是因为，由于问题的实例很多，或者由于手头的问题的大小，通过交叉验证或引导程序选择参数通常是不切实际的。唯一积极的结果，我所知道的是Candes和计划，通过近理想模型选择的最小化。 $\ell_1$ $\ell_1$

model-selection lasso shrinkage

— 空洞的
source

2

您是否知道建立套索一致性结果的论文？Knight＆Fu（2000），Yu＆Zhao（2006）以及Meinshausen的各种论文。

— 主教

是的，但我的问题不是关于渐近一致性，而是您提到的论文的主题。

— 令人讨厌的2011年

1

这些论文（主要）是关于模型选择一致性的，我想说这与您提出的问题非常相关。：）

— 红衣主教

2

Bickel等人的 Checkout定理5.1 。。在误差方面的统计学上最佳选择是 $\|y-\hat{y}(\lambda)\|_2^2$ $\lambda = A \sigma_{\text{noise}} \sqrt{\dfrac{\log p}{n}}$ $A > 2\sqrt{2}$

— 多马托布
source

这似乎不太符合要求，因为它需要了解

σ_{n o i s e}

$\sigma_\mathrm{noise}$ 。事实上，这也正是这个问题，激励平方根套索（arxiv.org/pdf/1009.5689.pdf）

— user795305

5

我认为您最感兴趣的是回归（如引用的论文所述），而不是回归分析的其他应用 $\ell_1$ -惩罚（例如图形套索）。

然后，我相信可以在Zou等人关于套索的“自由度”的论文中找到一些答案。简而言之，它为有效自由度提供了一个解析公式，对于平方误差损失，您可以用解析来代替CV $C_p$ 类型统计。

另一个值得关注的地方是Dantzig选择器：p远大于n时的统计估计，以及同一期《统计年鉴》中的讨论论文。我的理解是，它们解决了与套索回归密切相关的问题，但惩罚系数的选择是固定的。但也请查看讨论文件。

如果您对预测不感兴趣，但对模型选择不感兴趣，那么我不会知道类似的结果。预测最佳模型通常会导致回归模型中选择的变量过多。在“ 稳定性选择”一文中， Meinshausen和Bühlmann提出了一种对模型选择更为有用的子采样技术，但它可能对计算的要求太高。

— NRH
source

（+1）对于那些对此主题感兴趣的人，所有这三篇论文都值得仔细阅读。Dantzig选择器纸有一些很好的数学运算。但是，我还没有看到它在应用程序中获得很大的吸引力，我也不希望它如此。我认为，除其他外，非常嘈杂的正则化路径使人们感到紧张，因此，与套索相比，没有明显的好处，因此使其很难出售。

— 主教

嗯，请注意，尽管对于给定值的正则化参数，非零系数的数量对于该值的DoF而言是无偏估计，但此估计具有极高的方差。

— dohmatob

1

自从提出这个问题以来，已经取得了令人感兴趣的进展。例如，考虑本文

Chichignoud，M.，Lederer，J.，＆Wainwright，M.（2016年）。带有最优性保证的套索调整实用方案和快速算法。机器学习研究杂志，17，1-17。

他们提出了一种使用可证明的有限样本保证来选择模型的LASSO调整参数的选择方法。正如他们在论文中所说：“对于标准校准方案，其中包括交叉验证，文献中没有可比的保证。实际上，我们不知道标准校准方案的任何有限样本保证。”

— 用户名
source

0

这不能回答您的问题，但是：在大数据设置中，使用单个训练/测试拆分来调整正则化器可能会更好，而不是在交叉验证中进行大约10遍左右（对于引导程序则需要更多时间）。为devset选择的样本的大小和代表性决定了最佳正则化器估计的准确性。

以我的经验，在较大的正则化器范围内，保持的损失相对平稳。我相信这个事实可能不会解决其他问题。

— 布伦丹·奥康纳
source