预测是判断统计学家能力的“黄金标准”吗？

上周末，我正在阅读Faraway的带有R（第一版）的线性模型教科书。Faraway有一章称为“统计策略和模型不确定性”。他描述（第158页）时，他使用非常复杂的模型人工生成了一些数据，然后要求学生对数据进行建模，并将学生的预测结果与读取结果进行比较。不幸的是，大多数学生过度拟合了测试数据，并给出了完全超出预期的预测值。为了解释这种现象，他给我写了一些令人印象深刻的话：

“模型之所以如此不同，是因为学生以不同的顺序应用了各种方法。有些人在变换之前进行了变量选择，而另一些则相反。有些人在模型更改后重复了一种方法，而其他人则没有。我研究了这些策略那几个用于学生和找不到什么明显的错误与他们所做的一切。有一个学生在计算犯了错误他或她的预测值，但没有什么明显错误的其余部分。在这个任务中的表现并没有表现出与考试有任何关系。 ”

我受过教育，模型预测的准确性是我们选择最佳模型性能的“黄金标准”。如果我没记错的话，这也是Kaggle比赛中常用的方法。但是在这里Faraway观察到了一些不同的性质，即模型预测性能可能与无关具有相关统计人员的能力。换句话说，我们能否根据预测能力建立最佳模型并不能真正取决于我们的经验。相反，它取决于巨大的“模型不确定性”（运气不佳？）。我的问题是：在现实生活中的数据分析中也是如此吗？还是我对基本的东西感到困惑？因为如果这是真的，那么对真实数据分析的意义是巨大的：在不知道数据背后的“真实模型”的情况下，经验丰富/经验不足的统计学家所做的工作之间就没有本质的区别：两者都只是前面的疯狂猜测。可用的培训数据。

我问了这个系的教授。他坦言说，他对此一点都不感到惊讶。他提出了以下解决方案：Faraway所做的只是一次实验，结果与最终成绩没有任何关系也就不足为奇了。但是，如果Faraway在同一组学生身上重复他的“实验” 100次，他确信这些学生学习到的统计数据会更好地表现出来，就像置信区间一样。因此，在他看来，经验确实很重要，由于模型的不确定性，这只是一次社会实验无法证明这一点。

学生的模特几乎都是过拟合的。使用n个数据点，总是可以拟合n-1阶的理想多项式。这样的模型已经过期，没有留下任何随机误差。看来学生犯了类似的过拟合错误，但大概具有不同的功能。

过度拟合是一个错误，仅应由学生犯。这表明经验和教育是建模的必要条件。