收缩方法能解决什么问题？

假期的来临使我有机会借助“统计学习的要素”在火炉旁next 缩。从计量经济学的角度来看，我在掌握收缩方法（如岭回归，套索和最小角度回归（LAR））的使用方面遇到了麻烦。通常，我对参数估计值本身以及实现无偏见或至少一致感兴趣。收缩方法不能做到这一点。

在我看来，当统计人员担心回归函数对预测变量过于敏感时，会使用这些方法，因为它认为预测变量比实际更为重要（通过系数的大小来衡量）。换句话说，过度拟合。

但是，OLS通常会提供无偏且一致的估计。（脚注）我一直认为过拟合的问题不是给出太大的估计，而是给出过小的置信区间，因为未考虑选择过程（ ESL提到了后者。

无偏/一致的系数估计会导致对结果的无偏/一致的预测。收缩方法使预测比OLS更接近平均结果，似乎在桌上留下了信息。

重申一下，我没有看到收缩方法试图解决什么问题。我想念什么吗？

脚注：我们需要完整的列级条件来识别系数。误差的外生性/零条件均值假设和线性条件期望假设决定了我们可以对系数进行的解释，但是即使这些假设不成立，我们也可以得到无偏或一致的估计值。

我怀疑您想要一个更深层的答案，而我不得不让别人提供，但是我可以从松散的概念性角度给您一些关于岭回归的想法。

OLS回归会产生无偏的参数估计值（即，如果收集了此类样本并且不确定地估计了参数，则参数估计值的采样分布将以真实值为中心）。此外，采样分布将在所有可能的无偏估计中具有最低的方差（这意味着，与其他一些无偏估计过程的估计相比，OLS参数估计平均而言将更接近真实值）。这是个老新闻（对不起，我知道您知道得很清楚），但是，方差较小的事实并不意味着其非常低。。在某些情况下，采样分布的方差可能太大，以至于OLS估算器实际上一文不值。（可能发生这种情况的一种情况是高度的多重共线性。）

在这种情况下该怎么办？好吧，可以发现具有较低方差的另一种估计量（尽管很明显，鉴于上述规定，它必须是有偏差的）。也就是说，我们要权衡无偏以降低方差。例如，我们得到的参数估计值可能实际上更接近真实值，尽管可能略低于真实值。这种权衡是否值得，是分析师在面对这种情况时必须做出的判断。无论如何，岭回归就是这样一种技术。下图（完全制造）旨在说明这些想法。

这提供了关于岭回归的简短，简单的概念性介绍。我对套索和LAR的了解较少，但我相信可以应用相同的想法。有关套索和最小角度回归的更多信息，请参见此处，“简单说明...”链接特别有用。 这提供了有关收缩方法的更多信息。

我希望这是有价值的。

估计器的误差是（平方）偏差和方差分量的组合。但是在实践中，我们希望将模型拟合到特定的有限数据样本，并且希望将对我们实际拥有的特定数据样本评估的估计量的总误差减到最小，而不是在某些样本总体上平均零误差（我们没有）。因此，我们希望同时减少偏差和方差，以最大程度地减少误差，这通常意味着牺牲无偏性以更大程度地减少方差分量。在处理方差可能很大的小型数据集时尤其如此。

我认为关注点的不同取决于对程序的属性是否感兴趣，还是对特定样本获得最佳结果。常见的人通常会发现前者在该框架内更容易处理；贝叶斯算法通常更关注后者。

我猜可能有一些答案可能适用：

• 当预测变量的矩阵不是完整的列等级时，岭回归可以提供识别。
• 当预测变量的数目大于观测数目（非奇异问题的另一个变体）时，可以使用套索和LAR。
• 套索和LAR是自动变量选择算法。

我不确定关于岭回归的第一点确实是一项功能；我认为我宁愿更改模型以处理非身份验证。即使没有建模更改，在这种情况下，OLS也会提供结果的唯一（且无偏见/一致）的预测。

我可以看到第二点可能会有所帮助，但是在参数数量超过观察值数量的同时产生无偏/一致估计的情况下，前向选择也可以起作用。

最后一点，例如，前进/后退选择很容易实现自动化。

所以我仍然看不到真正的优势。

这是Biostatistics提供的基本应用示例

假设我正在研究卵巢癌的存在与一组基因之间的可能关系。

我的因变量是二进制（编码为零或1）。我的自变量编码蛋白质组数据库中的数据。

正如许多遗传学研究中常见的那样，我的数据要比数据高得多。我有216种不同的观察结果，但有4000种左右的预测变量。

线性回归是正确的（系统过于恐怖，无法确定）。

特征选择技术确实不可行。具有4,000多个不同的自变量，所有可能的子集技术都完全不可能，甚至连连的特征选择也令人怀疑。

最好的选择可能是使用带弹性网的逻辑回归。

我想进行特征选择（确定哪些自变量很重要），所以岭回归确实不合适。

完全有可能存在超过216个具有显着影响的自变量，因此我可能不应该使用套索（套索无法识别比您所观察到的更多的预测变量）...

输入弹性网...

线性回归收缩方法可以解决的另一个问题是，在对观察数据进行的高维病例对照研究中，获得的平均治疗效果（ATE）的方差较低（可能无偏）。

具体来说，在以下情况中：1）变量很多（难以选择变量进行精确匹配），2）倾向得分匹配无法消除处理样品和对照样品中的不平衡，3）存在多重共线性，有几种技术，例如获得渐近无偏估计的自适应套索（Zou，2006）。有几篇论文讨论了使用套索回归进行因果推断并在系数估计上生成置信区间（请参见以下文章：使用套索进行变量选择后的推断）。