为什么在神经网络中使用派生特征？

例如，一个人想要预测房屋价格，并具有房屋的长度和宽度两个输入特征。有时，还包括“派生”多项式输入特征，例如面积，即长*宽。

1）包含派生要素的意义是什么？在训练过程中，神经网络是否应该学习长度，宽度和价格之间的联系？为什么第三个要素（区域）不是多余的？

另外，有时我还看到人们在输入要素上运行遗传选择算法以减少数量。

2）如果所有输入功能都包含有用的信息，减少它们的意义是什么？神经网络是否应该根据其重要性为每个输入特征分配适当的权重？运行遗传选择算法的重点是什么？

$n$$l$$n*l$$n*l$

2）：我有两个原因。首先，如果您提供了数千个功能（在现实世界中经常发生），并且训练所需的CPU时间很短（也是常见的情况），则可以使用多种不同的功能选择算法来缩减功能空间提前。有原则的方法通常使用信息理论方法来选择具有最高预测能力的特征。其次，即使您有能力训练所有数据和拥有的所有功能，神经网络也常常被批评为“黑匣子”模型。提前减少特征空间可以帮助减轻此问题。例如，查看NN的用户无法轻易分辨出权重0.01意味着“ 0，但是优化过程并未完全达到目标”还​​是“

1）大多数神经网络无法执行乘法；他们只能计算总和（然后再通过激活函数单独输入总和）。相反，如果它们很重要，则必须估算这些乘法，这需要大量的神经元，尤其是当这些因素可能跨越较大范围时。

如果事实证明房屋面积实际上是一个重要特征，那么如果您向房屋网络提供房屋面积，将对您有所帮助，因为它可以使用神经元来估​​计宽度和长度的乘积去做其他事情。

因此，包括多项式特征在某些情况下可能对网络有利，但在其他情况下则没有明显影响。此外，多项式特征只是对网络可能有帮助的一种派生特征。可能会有所帮助的另一种派生特征是，例如，网络也必须估算才能获得的输入变量的对数（认为它们是正数）。

一种想法是允许网络在数字之间执行的操作不仅仅是加法，以使其能够有效地计算多项式特征本身之类的事物，但尚不清楚其工作方式。看起来像它做类似事情的一种体系结构是求和积网络。

2）除了约翰提到的计算成本外，增加模型中的参数数量（当您引入更多输入时不可避免）会增加网络过度拟合的风险，尤其是在训练数据很少的情况下。

但是，如果使用良好的正则化方法，则可以解决的问题很少。从理论上讲，使用足够好的正则化方法，过度拟合完全不是问题。正如Hinton所指出的，人类大脑中的突触数量约为10 ^ 14（对应于神经网络中的连接），但生命仅约为10 ^ 9秒，但我们似乎仍然能够概括得很好。显然，使用正确的算法调整许多参数只是一个优势。