相关的输入数据是否会导致神经网络过度拟合?


13

在我看来,相关的输入数据必定会导致神经网络过度拟合,因为网络会学习到相关性,例如数据中的噪声。

它是否正确?

Answers:


11

其实不行

这样的问题有点笼统,并把两件事联系在一起。过度拟合通常是与概括描述相反的品质;在某种意义上,过度拟合(或过度训练)的网络将具有较小的泛化能力。这种质量主要取决于网络体系结构,培训和验证过程。数据及其属性仅以“训练过程发生的内容”形式输入。这或多或少是“教科书知识”;您可以尝试James,Witten,Hastie和Tibshirani撰写的“统计学习入门”。或Bishop的“模式识别”(我最喜欢的关于一般主题的书)。或也由Bishop撰写的“模式识别和机器学习”。

对于关联本身:考虑具有特定维度的输入空间。无论您使用什么变换,维数都将保持不变-线性代数如此。在一种情况下,给定的基数将完全不相关-这就是在解除变量相关性或仅应用PAT(原理轴变换)时得到的结果。为此,请拿任何线性代数本。

由于具有适当架构的神经网络可以对任何(!)函数进行建模,因此可以放心地假设,它也可以首先对PAT进行建模,然后再执行其应做的任何事情-例如分类,回归等。

您还可以将相关性视为一项功能,该功能应作为神经网络描述的一部分,因为它是数据的属性。关联的性质并不是很重要,除非它不应该成为数据的一部分。这实际上是一个不同的主题-您应该对输入中的噪声进行建模或量化,并加以考虑。

因此,总之不。关联数据意味着您应该更加努力地使数据的处理在技术上更简单,更有效。过度拟合可能发生,但不会发生,因为存在相关数据。


抱歉,但我仍然不明白为什么。我的疑问也有点笼统。我一直在寻找“相关输入数据对神经网络有害吗?”的答案。您在这里宣称:“您可以放心,它也可以先模拟PAT”。但是,您如何做出这个假设。然后我的后续问题是,如果神经体系结构并非无法为PAT建模,会发生什么?
bytestorm

@bytestorm:您的第一个问题与原始问题不同。相关的输入可能会限制您的ANN(以及其他方法)的性能。但这不是人工神经网络的固有属性。至于第二个问题,它不是一个假设,而是一个示例性解释,说明了人工神经网络为什么可以对PAT建模。在实践中,我不会那样做,也不建议这样做。
天使

6

小天使关于他关于过度拟合的陈述是正确的。但是,我认为对高度相关的特征和ANN的讨论过分简化了这个问题。

是的,从理论上讲,人工神经网络可以逼近任何函数。但是,实际上,包括许多高度相关的功能不是一个好主意。这样做会在模型中引入许多冗余。包含此类冗余将引入不必要的复杂性,并且这样做可能会增加局部最小值的数量。鉴于ANN的损耗函数并不是天生光滑的,引入不必要的粗糙度并不是一个好主意。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.