如您所知,交叉验证有两种流行的类型,即K折和随机子采样(如Wikipedia中所述)。尽管如此,我知道有些研究人员正在撰写和发表论文,其中描述为K折的简历确实是随机的二次抽样,因此在实践中,您永远不知道所读文章的真实含义。
通常,差异当然并不明显,因此我的问题也是如此-当一种类型的结果与另一种类型的结果显着不同时,您能想到一个例子吗?
如您所知,交叉验证有两种流行的类型,即K折和随机子采样(如Wikipedia中所述)。尽管如此,我知道有些研究人员正在撰写和发表论文,其中描述为K折的简历确实是随机的二次抽样,因此在实践中,您永远不知道所读文章的真实含义。
通常,差异当然并不明显,因此我的问题也是如此-当一种类型的结果与另一种类型的结果显着不同时,您能想到一个例子吗?
Answers:
当然,仅仅因为您在不同的示例上进行训练,您肯定可以获得不同的结果。我非常怀疑,在某种算法或问题域中,两者的结果将以可预测的方式有所不同。
通常,差异当然并不明显,因此我的问题也是如此-当一种类型的结果与另一种类型的结果显着不同时,您能想到一个例子吗?
我不确定根本没有什么明显的区别,只有在临时示例中它才是明显的。交叉验证和自举(子采样)方法都主要取决于其设计参数,并且这种理解还不完整。在一般情况下,结果中 k折交叉验证关键取决于褶皱的数量,所以你可以期待从你会在亚取样观察什么总是不同的结果。
举例说明:假设您有一个带有固定数量参数的真实线性模型。如果您使用k倍交叉验证(给定的固定k),并让观察数达到无穷大,则k交叉验证对于模型选择将是渐近不一致的,即它将使用概率大于0。这令人惊讶的结果是由于邵俊,“选择线性模型通过交叉验证”,杂志美国统计协会,88,486-494(1993),但更多的论文可以在这方面找到。
通常,恰到好处的统计文件都指定了交叉验证协议,这完全是因为结果不是不变的。如果他们为大型数据集选择大量折痕,则他们会进行标记并尝试纠正模型选择中的偏差。