使用交叉验证时针对一种标准错误规则的经验论证

是否有任何经验研究证明使用一个标准误差规则来支持简约？显然，这取决于数据的数据生成过程，但是任何分析大量数据集的内容都会非常有趣。

通过交叉验证（或更普遍地通过任何基于随机化的过程）选择模型时，将应用“一个标准错误规则”。

假设我们考虑由复杂性参数索引的模型，使得恰好在时比 “复杂” 。进一步假设我们通过某种随机化过程（例如，交叉验证）评估模型的质量。让表示的“平均”质量，例如，在许多交叉验证运行，平均出球袋预测误差。我们希望最小化此数量。 τ ＆Element; [R 中号τ 中号τ ' τ > τ '中号q （中号）$M_\tau$$\tau\in\mathbb{R}$$M_\tau$$M_{\tau'}$$\tau>\tau'$$M$$q(M)$$M$

但是，由于我们的质量度量来自某种随机化程序，因此具有可变性。令表示随机试验中的质量标准误差，例如，交叉验证试验中的袋外预测误差的标准偏差。M $s(M)$$M$$M$

然后我们选择模型，其中是最小的使得 τ $M_\tau$$\tau$$\tau$

其中索引（平均）最佳模型。$\tau'$$q(M_{\tau'})=\min_\tau q(M_\tau)$

也就是说，我们选择最简单的模型（最小的 $\tau$），在随机化过程中，该模型的误差不超过最佳模型$M_{\tau'}$。

我已经在以下地方找到了这种“一个标准错误规则”，但是从来没有任何明确的理由：

• Breiman，Friedman，Stone＆Olshen（1984）的分类树和回归树中的第80页
• Tibshirani，Walther和Hastie的《通过间隙统计估计数据集中的簇数》中的第415页（JRSS B，2001年）（参考Breiman等人）。
• Hastie，Tibshirani和Friedman在2009年的《统计学习要素》中的第61和244页
• Hastie，Tibshirani和Wainwright（2015）在《稀疏的统计学习》中的第13页

以下内容不是一项实证研究，这就是为什么我本来希望将其发布为评论，而不是答案的原因-但事实证明，评论太长了。

Cawley＆Talbot（《机器学习研究》，2010年）提请注意模型选择阶段的过度拟合与模型拟合阶段的过度拟合之间的差异。

第二种过度拟合是人们最熟悉的一种：给定特定模型，我们不想对其过度拟合，即，使其过于紧密地适应我们通常具有的单个数据集的特定特质。（在这里，缩小/正则化可以通过以较小的偏倚度与较大的方差减少度进行交易来提供帮助。）

但是，Cawley＆Talbot认为，在模型选择阶段，我们也可以过度拟合。毕竟，我们通常通常只有一个数据集，并且要在复杂程度不同的不同模型之间做出决定。评估每个候选模型以选择一个模型通常涉及拟合该模型，可以使用或不使用正则化来完成。但是这种评估本身又是一个随机变量，因为它取决于我们拥有的特定数据集。因此，我们对“最佳”模型的选择本身可能会产生偏差，并且会表现出方差，这取决于我们可以从总体中提取的所有数据集中的特定数据集。

因此，Cawley＆Talbot认为，简单地选择在此评估中表现最佳的模型很可能是偏差较小的选择规则-但可能会出现较大的差异。也就是说，给定来自同一数据生成过程（DGP）的不同训练数据集，此规则可以选择非常不同的模型，然后将其拟合并用于在再次遵循相同DGP的新数据集中进行预测。因此，限制模型选择过程的方差，但对简单模型产生小的偏差可能会产生较小的样本外误差。

Cawley＆Talbot并没有明确地将其与一个标准错误规则联系起来，他们关于“规范化模型选择”的部分非常短。但是，一个标准错误规则将完全执行此正则化，并考虑模型选择中的方差与袋外交叉验证错误的方差之间的关系。

例如，下面是Hastie，Tibshirani和Wainwright（2015）的《统计学习与稀疏性》中的图2.3 。模型选择方差由黑线的最小值给出。在这里，最小值不是很明显，并且该线是相当弱的凸面，因此模型选择可能存在较大的不确定性。当然，OOB CV误差估计的方差由表示标准误差的多条淡蓝色线给出。

为了获得经验依据，请参阅这些Tibshirani数据挖掘课程注释的第12页，其中显示了针对特定建模问题的CV误差与lambda的关系。建议似乎是，在一定值以下时，所有lambda都会产生相同的CV错误。这是有道理的，因为与脊回归不同，LASSO通常不只是或什至主要用于提高预测精度。它的主要卖点是通过消除最不相关/最不重要的预测变量，使模型更简单易懂。

现在，要了解一个标准错误规则，让我们考虑一下从变化得到的一系列模型。Tibshirani的数据告诉我们，我们有一堆中到高复杂度模型，它们的预测精度几乎相同，还有一堆低复杂度模型，它们不擅长预测。我们应该选择什么？好吧，如果我们使用，我们可能会对简约模型感兴趣，所以我们可能更喜欢用最简单的模型来很好地解释我们的数据，而不是用爱因斯坦来解释。那么，与所有这些高复杂度模型“一样好”的最低复杂度模型又如何呢？衡量“约好”的好方法是什么？一个标准错误。$\lambda$$L_1$

拉索估计器选择的变量数量由惩罚值决定。越大，所选变量的集合越小。令 为选定变量的集合，并将其用作惩罚。 $\lambda$$\lambda$$\hat S(\lambda)$$\lambda$

令为使用最小交叉验证功能选择的惩罚。可以证明。其中是实际上不是0的变量的集合。（真正变量的集合严格包含在使用交叉验证的最小值作为惩罚的估计集合中。）$\lambda^ \star$$P(S_0 \subset \hat S(\lambda^\star))\rightarrow 1$$S_0$

这应该在Bühlmann和van de Geer的《高维数据统计》中进行报告。

惩罚值通常是通过交叉验证来选择的；这意味着很有可能选择了太多变量。为了减少所选变量的数量，使用一个标准错误规则会增加一点惩罚。$\lambda$