AIC或p值：选择哪种模型进行选择？

22

我是这R产品的新手，但不确定要选择哪种型号。

我进行了逐步前向回归，根据最低AIC选择每个变量。我提出了3个不确定的模型，这些模型是“最好的”。
```
Model 1: Var1 (p=0.03) AIC=14.978
Model 2: Var1 (p=0.09) + Var2 (p=0.199) AIC = 12.543
Model 3: Var1 (p=0.04) + Var2 (p=0.04) + Var3 (p=0.06) AIC= -17.09
```
我倾向于使用Model＃3，因为它的AIC最低（我听过可以接受负值），并且p值仍然很低。

我已经运行了8个变量作为孵化质量的预测变量，发现这三个变量是最好的预测变量。

我的下一个前进方向是选择模型2，因为即使AIC稍大，p值也都较小。您是否同意这是最好的？

Model 1: Var1 (p=0.321) + Var2 (p=0.162) + Var3 (p=0.163) + Var4 (p=0.222)  AIC = 25.63
Model 2: Var1 (p=0.131) + Var2 (p=0.009) + Var3 (p=0.0056)                  AIC = 26.518
Model 3: Var1 (p=0.258) + Var2 (p=0.0254)                                   AIC = 36.905

谢谢！

model-selection aic stepwise-regression

— MEL
source

您能告诉我们（1）和（2）之间的区别吗？显然有所改变，因为（1）中的模型3和（2）中的模型2名义上是相同的，但p值和AIC不同。

— whuber

2

该问题已被重新发布两次，这意味着不仅我们必须关闭它们，而且还必须已经提供给您相关的响应。您能否注册您的帐户（请参阅FAQ），并在将来注意StackExchange的发布政策？谢谢。

— chl

@whuber，恐怕我无法完全理解您的问题。这可能是我缺乏统计了解。但是要尝试澄清。模型1具有4个变量，模型2具有3个变量，模型3具有2个变量。在每个模型中，变量的顺序相同（意味着每个模型中的变量one = temp）。我认为@GaBorgulya和@djma完美地回答了我的问题。变量4 IS与变量3相关。说得通。谢谢面条！

— MEL

我已将您的回复转换为上述评论。@richiemorrisroe提醒您，如果您认为当前的回答之一对您有所帮助或回答了您的问题，请不要忘记接受它。顺便说一句，很高兴看到您注册了帐户。

— chl

23

AIC是拟合优度的度量标准，它有利于模型中较小的残留误差，但会因包含更多的预测变量而受到惩罚，并有助于避免过度拟合。在第二组模型中，模型1（具有最低AIC的模型）在用于数据集之外的预测时可能效果最佳。为什么将Var4添加到模型2会导致AIC较低，但p值较高的可能解释是Var4在某种程度上与Var1、2和3相关。因此，对模型2的解释更加容易。

— 加博古利亚
source

31

查看各个p值可能会产生误导。如果您具有共线变量（具有高相关性），则将获得较大的p值。这并不意味着变量是无用的。

根据经验，使用AIC标准选择模型比查看p值更好。

可能不选择具有最低AIC的模型的一个原因是，当变量与数据点的比率较大时。

请注意，模型选择和预测准确性有些不同。如果您的目标是获得准确的预测，建议您通过将数据分离到训练和测试集中来交叉验证模型。

有关变量选择的论文：变量选择的随机逐步积分

— 杰玛
source

4

如果您的目标是预测准确性，则希望使用AIC（因为它可以使拟合模型与真值之间的期望KL差异最小化）。如果您想要一个一致的模型选择过程（固定p，增长n），则可以使用BIC代替。绝对不建议在逐步回归中使用p值来选择假设。

— emakalic 2011年

8

@emakalic-简要说明一下，AIC和BIC基本上只是选择使用哪个p值的方法，而不是“根本上”有所不同。对于AIC，我们的p值为，对于BIC，我们的p值等于。

0.154

$0.154$

| t | > \sqrt{\log (N)}

$|t|>\sqrt{\log(N)}$

— 概率

-3

AIC的动机是对泛化误差的估计（例如Mallow的CP，BIC等）。如果希望模型进行预测，则最好使用以下条件之一。如果您希望模型用于解释现象，请使用p值。

另外，请参阅此处。

— 约翰·罗斯
source