为什么在进行多元回归时有理由向后消除？

它不会导致过度拟合吗？如果在分析中添加千斤顶或自举程序，我的结果会更可靠吗？

— sim卡
source

谁说这是有道理的？当然，这会导致过度拟合。

— gung-恢复莫妮卡

它在很多书居然提出（仍然？），例如amazon.com/Statistics-Explained-Introductory-Guide-Scientists/...。我自己一直在思考同样的问题。我认为在引入多元回归时，我至少有3-4本统计书籍完全没有讨论过拟合问题。

— 2015年

老实说，如果一本入门性的统计书没有讨论过拟合和过度测试，那么我会读另一本书。

— 马修·德鲁里

如果将留一法交叉验证（例如PRESS）用作特征选择标准，则向后消除（和向前选择）仍趋于过度拟合。

— 迪克兰有袋博物馆，2015年

@mmh不是很入门，但是我强烈建议您阅读Frank Harrell的回归建模策略的第4章（值得一读的不仅是第4章，而且这部分与本讨论特别相关）。

— Glen_b-恢复莫妮卡

我认为建立模型和测试模型是不同的事情。向后消除是模型构建的一部分。千斤顶刀和靴子更常用于测试。

与简单的向后消除方法相比，使用引导程序和千斤顶刀肯定可以得到更可靠的估计。但是，如果您真的想测试过度拟合，则最终测试是拆分样本，再进行一些训练，再进行其他测试。为此目的，留任太太不稳定/不可靠：http： //www.russpoldrack.org/2012/12/the-perils-of-leave-one-out.html

我认为至少需要10％的受试者才能对模型的鲁棒性做出更稳定的估计。如果您有20个科目，那么2个科目仍然很少。但是，问题就变成了，您是否有足够大的样本来构建可以应用于其余人口的模型。

希望它至少部分回答了您的问题。

— 多里安·P
source

k < n

$k < n$

k << n

$k << n$

概论统计学习讨论了重采样的不同方法（验证组，具有不同数目的组，引导交叉验证）在第5章，和模型选择在第6章

— EDM