选择要包含在多元线性回归模型中的变量

我目前正在使用多元线性回归建立模型。在摆弄我的模型之后，我不确定如何最好地确定要保留哪些变量以及要除去哪些变量。

我的模型从DV的10个预测变量开始。当使用所有10个预测变量时，有4个被认为是重要的。如果仅删除一些明显不正确的预测变量，那么一些最初不重要的预测变量将变得很重要。这使我想到了一个问题：如何确定要在模型中包括哪些预测变量？在我看来，您应该对所有预测变量运行一次模型，删除不重要的预测变量，然后重新运行。但是，如果只删除其中一些预测变量会使其他预测变量变得重要，那么我想知道我是否对所有这些方法都采用了错误的方法。

我认为该主题与我的问题类似，但是我不确定我是否正确解释了讨论内容。也许这更多是一个实验性设计主题，但也许有人可以分享一些经验。

根据您对我的评论的反应：

您正在寻找预测。因此，您不应该真正依赖系数的意义。你会更好

• 选择一个最能描述您的预测需求的标准（例如，错误分类率，ROC的AUC，带有权重的某种形式的...）
• 对于每个感兴趣的模型，请评估此标准。例如，可以通过提供验证集（如果您很幸运或有钱），交叉验证（通常是十倍）或您的感兴趣的标准允许的其他任何选项来实现。如果可能，还可以找到每个模型的标准SE的估计值（例如，通过使用交叉验证中不同折数的值）
• 现在，您可以选择具有最佳准则值的模型，尽管通常建议您选择最佳值一个SE内的最简约模型（最小变量）。

WRT 感兴趣的每个模型：这里存在相当多的陷阱。有10个潜在预测变量，这就是潜在模型的重担。如果您有足够的时间或时间来进行处理（或者您的数据足够小以至于模型可以拟合并足够快地进行评估）：请准备一个球。如果不是这样，您可以通过有根据的猜测，正向或反向建模（但使用标准而不是重要性）或更好的方法来解决此问题：使用某种算法来选择一组合理的模型。做到这一点的一种算法是惩罚回归，特别是套索回归。如果您使用的是R，只需插入软件包glmnet，即可开始使用。

没有简单的答案。当您删除一些非重要的解释变量时，与那些相关的其他变量可能会变得重要。这没有错，但是它使得模型选择至少部分是艺术而不是科学。这就是为什么实验旨在保持解释变量彼此正交以避免该问题的原因。

传统上，分析人员每次一次逐步向模型添加或减去变量（类似于您所做的事情），然后分别或以t或F检验对变量进行单独或成组的测试。问题是，您可能会错过变量的某些组合以进行求和（或添加），其中变量的组合效果（或非效果）被共线性隐藏。

使用现代计算能力，可以拟合所有2 ^ 10 = 1024个解释变量的可能组合，并通过许多可能的标准（例如AIC，BIC或预测能力）（例如，预测值的能力）中的一种来选择最佳模型已与用于拟合模型的数据集分离的数据的测试子集）。但是，如果要（隐式或显式）测试1024个模型，则需要从经典方法中重新考虑您的p值-请谨慎对待...

如果您仅对预测性能感兴趣，那么最好使用所有功能并使用岭回归来避免过度拟合训练样本。这本质上是Millar的专着《回归中的子集选择》附录中给出的建议，因此它带有合理的血统！

原因是，如果您根据基于固定数据样本（例如AIC，BIC，交叉验证等）的性能估算来选择子集，则选择标准将具有有限的方差，因此可以过度适合选择标准本身。换句话说，从最小化选择标准开始，泛化性能将有所提高，但是会有一个减少点越多，泛化效果越差。如果您不走运，则可以轻松得出一个性能比开始时差的回归模型（即具有所有属性的模型）。

当数据集很小（因此选择标准具有较高的方差）且模型的选择可能很多时（例如选择特征组合），这种情况尤其可能发生。正则化似乎不太容易过度拟合，因为它是一个需要调整的标量参数，因此对模型的复杂性给出了更为严格的看法，即，过低的有效自由度可用于过度拟合选择标准。

使用跳转库。绘制变量时，y轴显示已调整R ^ 2。您查看框在最高R ^ 2处的黑色位置。这将显示您应该用于多元线性回归的变量。

下面的葡萄酒示例：

library(leaps)
regsubsets.out <-
  regsubsets(Price ~ Year + WinterRain + AGST + HarvestRain + Age + FrancePop,
         data = wine,
         nbest = 1,       # 1 best model for each number of predictors
         nvmax = NULL,    # NULL for no limit on number of variables
         force.in = NULL, force.out = NULL,
         method = "exhaustive")
regsubsets.out

#----When you plot wherever R^2 is the highest with black boxes,
#so in our case AGST + HarvestRain + WinterRain + Age and the dependent var.is Price----#
summary.out <- summary(regsubsets.out)
as.data.frame(summary.out$outmat)
plot(regsubsets.out, scale = "adjr2", main = "Adjusted R^2")

您也可以在Akaike信息标准中使用步进功能。下面的例子。https://zh.wikipedia.org/wiki/Akaike_information_criterion

StepModel = step(ClimateChangeModel)

为什么不先进行相关分析，然后才仅对那些与Dv相关的分析进行回归分析？

我的顾问提供了另一种可能的解决方法。运行所有变量一次，然后删除那些未达到某个阈值的变量（我们将阈值设置为p <.25）。继续以这种方式进行迭代，直到所有变量都降至该.25值以下，然后报告那些有意义的值。