重要性测试或交叉验证？

20

选择相关变量的两种常见方法是重要性检验和交叉验证。每个人都试图解决什么问题？我何时会选择一个而不是另一个？

cross-validation feature-selection

— 约翰·罗斯
source

22

首先，让我们是明确的和提出的问题为多元线性回归，其中我们回归响应变量，上下文，在几个不同的变量（相关或不）中，用参数向量和回归函数 $y$ $x_1, \ldots, x_p$ $\beta = (\beta_0, \beta_1, \ldots, \beta_p)$
其可以是平均值的响应变量的对给定的观测模型。

f (x_{1}, \dots, x_{p}) = β_{0} + β_{1} x_{1} + \dots + β_{p} x_{p},

$f(x_1, \ldots, x_p) = \beta_0 + \beta_1 x_1 + \ldots + \beta_p x_p,$

x_{1}, \dots, x_{p}

$x_1, \ldots, x_p$

现在的问题是如何选择的一个子集的是不为零，并且，特别地，的比较显着性检验对交叉验证。 $\beta_i$

为了使术语更清晰，重要性测试是一个通用概念，它在不同的上下文中以不同的方式进行。例如，这取决于测试统计量的选择。交叉验证实际上是用于估计预期泛化误差的算法，泛化验证是重要的一般概念，并且取决于损失函数的选择。

该预期的泛化误差是一个小的技术正式定义，但在口头上它是一个拟合模型的预期损失用于预测在一个独立的数据集时，其中的期望是在用于估计值，以及独立的数据数据用于预测的集合。

$\beta_1$

$\beta_1 = 0$ $p$ $\beta_1 = 0$ $p$
$\beta_1 = 0$ $\beta_1 = 0$ $\beta_1$ 允许也不同于0，然后我们可以比较两个估计的误差。最小的那个对应于我们选择的模型。

$\beta_1 \neq 0$

$\beta_1$ $\beta_1$ $-$

$p$ $p$

$p$ $p$ $\beta_1$ $\beta_1$

— NRH
source

17

仅仅使用显着性检验和逐步过程来执行模型选择，就会使您相信，如果您实际上没有，那么您将拥有一个具有重要预测变量的非常强大的模型。您可能会偶然获得很强的相关性，并且在删除其他不必要的预测变量后，这些相关性似乎可以得到增强。

当然，选择过程仅保留与结果相关性最强的那些变量，并且随着逐步过程的进行，犯下I类错误的可能性变得比您想象的要大。这是因为未对标准误差（以及p值）进行调整，以考虑以下事实：没有随机选择变量以将其包含在模型中，并且进行了多个假设检验以选择该集合。

大卫·弗里德曼（David Freedman）的论文很可爱，他在其中演示了这些要点，即“ 筛选回归方程式的注记 ”。摘要：

$R^2$ $R^2$

正如您提到的，解决此问题的一种可能方法是使用交叉验证的变体。当我没有很好的经济（我的研究领域）或统计上的理由相信我的模型时，这是我选择合适模型并进行推理的首选方法。

其他受访者可能会提到，使用AIC或BIC的逐步过程在渐近上等效于交叉验证。但是，这仅在观察数量相对于预测变量数量变大时起作用。在相对于观察次数有很多变量的情况下（弗里德曼说，每10或更少的观察结果就有1个变量），以这种方式进行选择可能会表现出上述较差的性能。

在功能强大的计算机时代，我看不出有任何理由不将交叉验证用作逐步选择的模型选择过程。

— 查理
source

您能为使用AIC或BIC的逐步过程等效于交叉验证提供参考吗？我已经读过关于AIC / BIC与交叉验证等效的信息，但不是逐步的。

— 理查德·哈迪