“逐步回归”如何工作？

我使用以下R代码来拟合概率模型：

p1 <- glm(natijeh ~ ., family=binomial(probit), data=data1)
stepwise(p1, direction='backward/forward', criterion='BIC')

我想知道到底是做什么stepwise和backward/forward做什么，以及如何选择变量？

逐步选择原理

1. 您可以使用所需的所有变量来拟合模型。这是您当前最好的模型。
2. 根据BIC（或任何其他方法），您删除一个变量（或在当前最佳模型中未使用的变量中添加一个），然后为每个变量拟合新模型，然后将它们与每个模型和原始模型进行比较。其他标准，例如AIC）。您将获得另一个“当前最佳模型”。

您重复2.直到BIC不变。您只有局部最小值的BIC，这意味着您可能无法在所有变量子集的选择中获得最佳模型。但是无论如何，通常它们太多了，因此这是一种无需太多工作即可进行优化的方法。

另请参阅Wikipedia上的逐步回归和模型选择。

逐步回归基本上可以通过基于指定条件（一次在您的示例中，该条件基于BIC）添加/删除一个协变量来拟合回归模型。

通过指定正向，您告诉R您要从最简单的模型（即一个协变量）开始，然后一次添加一个协变量，仅保留那些会改善模型BIC的变量。

通过向后指定，您会告诉R您要从完整模型（即具有所有协变量的模型）开始，然后丢弃协变量一次，这将导致BIC的改善。

逐步回归可能是一个非常危险的统计过程，因为它不是最佳的模型选择过程。该方法可能会导致模型选择非常差，因为它不能保护您免受多重比较之类的问题的困扰。