关于正则化方法最重要的“早期论文”是什么？

在我看到的几个答案中，CrossValidated用户建议OP查找有关Lasso，Ridge和Elastic Net的早期论文。

为了后代，关于套索，岭和弹性网的开创性著作是什么？

由于您只是在寻找参考，因此清单如下：

1. 提克霍诺夫，安德烈·尼古拉耶维奇（1943）。“关于反问题的稳定性”。Doklady Akademii Nauk SSSR。39（5）：195–198。
2. Tikhonov，AN（1963）。“Орешениинекорректнопоставленныхзадачиметодерегуляризации”。Doklady Akademii Nauk SSSR。151：501–504 ..翻译成“错误地提出的问题的解决方案和正则化方法”。苏联数学。4：1035-1038。
3. Hoerl AE，1962年，将岭分析应用于回归问题，化学工程进展，1958年，第54-59页。
4. 亚瑟·霍尔（Arthur E. 罗伯特·肯纳德（1970）。“里奇回归：非正交问题的有偏估计”。技术计量学。12（1）：55-67。doi：10.2307 / 1267351。https://pdfs.semanticscholar.org/910e/d31ef5532dcbcf0bd01a980b1f79b9086fca.pdf
5. 蒂布希拉尼（Robert Tibshirani）（1996）。“通过套索进行回归收缩和选择”（PostScript）。皇家统计学会杂志，B系列。58（1）：267–288。MR 1379242 https://statweb.stanford.edu/~tibs/lasso/lasso.pdf
6. Zou，H.和Hastie，T.（2005年）。通过弹性网进行正则化和变量选择。皇家统计学会杂志，系列B。67：第301-320页。https://web.stanford.edu/~hastie/Papers/B67.2%20%282005%29%20301-320%20Zou%20&%20Hastie.pdf

我认为有历史意义的论文首先证明了偏倚估计量可以改善普通线性模型的估计量：

• Stein，C.，1956年1月。多元正态分布均值的通常估计量的不允许性。在第三届伯克利数学统计和概率研讨会论文集（第1卷，第399号，第197-206页）中。

一些更现代和重要的惩罚措施包括SCAD和MCP：

• Fan，J.和Li，R.，2001。通过非凹惩罚似然及其变量的预言性进行变量选择。美国统计协会杂志，96（456），第1348-1360页。
• Zhang，CH，2010。在极大极小凹惩罚下几乎无偏的变量选择。统计年鉴，38（2），第894-942页。

关于使用这些方法获得估算值的非常好的算法的更多信息：

• Breheny，P.和Huang，J.，2011年。用于非凸惩罚回归的协调下降算法及其在生物特征选择中的应用。《应用统计》，第5卷第1期，第232页。
• Mazumder，R.，Friedman，JH和Hastie，T.，2011年。稀疏网：具有非凸罚分的协调下降。美国统计协会杂志，106（495），第1125-1138页。

还值得一看的是与LASSO密切相关的Dantzig选择器的这篇论文，但是（我相信）它为统计估计器引入了oracle不等式的想法，这是一个非常有力的想法

• Candes，E.和Tao，T.，2007。Dantzig选择器：p远大于n时的统计估计。统计年鉴，第2313-2351页。