交叉验证实施是否会影响其结果?


9

如您所知,交叉验证有两种流行的类型,即K折和随机子采样(如Wikipedia中所述)。尽管如此,我知道有些研究人员正在撰写和发表论文,其中描述为K折的简历确实是随机的二次抽样,因此在实践中,您永远不知道所读文章的真实含义。
通常,差异当然并不明显,因此我的问题也是如此-当一种类型的结果与另一种类型的结果显着不同时,您能想到一个例子吗?

Answers:


4

当然,仅仅因为您在不同的示例上进行训练,您肯定可以获得不同的结果。我非常怀疑,在某种算法或问题域中,两者的结果将以可预测的方式有所不同。


我的意思是明显不同。我也认为没有,至少在现实世界中是这样。不过,我想我会再等一段时间。

3

通常,差异当然并不明显,因此我的问题也是如此-当一种类型的结果与另一种类型的结果显着不同时,您能想到一个例子吗?

我不确定根本没有什么明显的区别,只有在临时示例中它才是明显的。交叉验证和自举(子采样)方法都主要取决于其设计参数,并且这种理解还不完整。在一般情况下,结果 k折交叉验证关键取决于褶皱的数量,所以你可以期待从你会在亚取样观察什么总是不同的结果。

举例说明:假设您有一个带有固定数量参数的真实线性模型。如果您使用k倍交叉验证(给定的固定k),并让观察数达到无穷大,则k交叉验证对于模型选择将是渐近不一致的,即它将使用概率大于0。这令人惊讶的结果是由于邵俊,“选择线性模型通过交叉验证”,杂志美国统计协会88,486-494(1993),但更多的论文可以在这方面找到。

通常,恰到好处的统计文件都指定了交叉验证协议,这完全是因为结果不是不变的。如果他们为大型数据集选择大量折痕,则他们会进行标记并尝试纠正模型选择中的偏差。


不,不,不,这是关于机器学习而不是模型选择。

1
有趣的区别。我认为模型选择对于机器学习至关重要,几乎是该术语的所有含义。
令人毛骨悚然的

当您只有很少的参数并且只想将它们拟合到数据以说明某些事情时,所有这些事情都适用于平凡(大多数为线性)模型,例如您拥有y和x并想要检查y = x ^ 2或y = x。在这里,我要讨论的是诸如支持向量机或射频之类的模型的估计误差,这些模型可能具有成千上万个参数,但由于复杂的启发式算法而仍然不会过拟合。

这些结果对于具有任意数量的自变量的一般线性模型的回归有效。变量可以是任意学习者。关键的假设是,随着观察数达到无穷大,描述真实模型的学习者数量将保持有限。所有这些都可以用于回归,因此对于像您这样的分类任务,我不确定它是否有帮助。
10

它不是; GLM不是机器学习。真正的机器学习方法足以保持其复杂性水平与数量不断增长的对象无关(如果足够的话);即使是线性模型,由于收敛性很差,所以整个理论也很糟糕。
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.