逐步AIC-关于此主题是否存在争议？

我在该网站上阅读了无数帖子，这些帖子令人难以置信地反对使用任何类型的标准（无论是基于p值，AIC，BIC等）逐步选择变量。

我理解为什么这些程序通常比较笼统，而变量选择却很差。龚可能在这里著名的帖子清楚地说明了原因；最终，我们将在用于得出假设的同一数据集上验证假设，即数据挖掘。此外，p值还受共线性和离群值之类的量的影响，这些结果会严重偏斜等。

但是，最近我一直在研究时间序列预测，并且遇到了Hyndman备受推崇的教科书，他在这里提到使用逐步选择来找到ARIMA模型的最佳顺序。实际上，在forecastR包中，众所周知auto.arima的默认算法默认使用逐步选择（对于AIC，不是p值）。他还批评了基于p值的功能选择，该功能与该网站上的多个帖子非常吻合。

最终，如果目标是开发用于预测/预测的良好模型，则最终应始终以某种方式进行交叉验证。但是，在确定p值以外的评估指标的过程本身时，在这里肯定有一些分歧。

在这种情况下，或者在这种情况下，对于使用逐步式AIC，有人是否有任何意见？我被教导要相信任何逐步的选择都是不好的，但是老实说，auto.arima(stepwise = TRUE)与样本相比，我给了我更好的结果，auto.arima(stepwise = FALSE)但是也许这只是巧合。

这里有几个不同的问题。

• 可能的主要问题是模型选择（无论是使用p值或AIC，逐步还是全子集或其他方法）在推理时主要存在问题（例如，获得具有适当的I型错误的p值，具有适当覆盖率的置信区间）。对于预测，模型选择的确可以在偏差方差折衷轴上选择一个更好的点，并改善样本外误差。
• 对于某些类型的模型，AIC渐近等效于遗忘式CV错误[请参见例如http://www.petrkeil.com/?p=836 ]，因此使用AIC作为CV的计算有效代理是合理的。
• 逐步选择通常由其他模型选择（或平均）方法（如果计算可行，则为所有子集，或者为收缩方法）主导。但这很容易实现，并且如果答案足够清晰（一些参数对应于强信号，其他参数较弱，很少有中间信号），那么它将给出合理的结果。同样，推理和预测之间存在很大的差异。例如，如果您有几个高度相关的预测变量，则选择一个不正确的预测变量（从“真相” /因果关系的角度）是一个很大的推论问题，但是选择一个恰好能为您提供最佳AIC的预测变量是合理的预测策略（尽管如果尝试预测预测变量的相关性发生变化的情况，它将失败...）

底线：对于具有合理信噪比的中等大小的数据，基于AIC的逐步选择确实可以产生可靠的预测模型；参见Murtaugh（2009）的示例。

Paul A. Murtaugh，“应用于实际生态数据的几种变量选择方法的性能。” 生态字母12号 10（2009）：1061-1068。