多元线性回归与神经网络？

在某些情况下，似乎有可能获得与具有多元线性回归的神经网络类似的结果，并且多元线性回归超级快速且容易。

在什么情况下，神经网络比多元线性回归能提供更好的结果？

神经网络原则上可以自动对非线性进行建模（请参见通用逼近定理），您需要使用线性回归中的变换（样条线等）来显式建模。

警告：过度拟合的诱惑在神经网络中比在回归中可能（甚至）更强，因为添加隐藏层或神经元看起来无害。因此，请格外注意样本外预测性能。

您提到了线性回归。这与逻辑回归相关，后者具有类似的快速优化算法。如果您对目标值有限制（例如存在分类问题），则可以将逻辑回归视为线性回归的概括。

在原始输入上，神经网络比逻辑回归严格地更通用，因为神经网络对应于具有隐藏节点的跳过层网络（其连接直接将输入与输出连接起来）。$0$

添加，这类似于为单个隐藏层中的几个隐藏节点选择权重。没有确切的对应关系，因为用S形模型模拟类的函数可能需要多个隐藏神经元。训练神经网络时，您可以让它找到自己的输入到隐藏的隐藏权重，这有可能会变得更好。这可能还会花费更多时间，并且可能会不一致。您可以从具有附加特征的逻辑回归近似开始，然后缓慢训练输入到隐藏的权重，这最终将比具有附加特征的逻辑回归更好。根据问题，培训时间可以忽略不计或过高。$x^3$$1-1$$x^3$

一种中间策略是选择大量随机节点，类似于初始化神经网络时发生的情况，并固定输入到隐藏的权重。*至输出权重的优化保持线性。这称为极限学习机。它至少和原始的逻辑回归一样好。

线性回归旨在分离线性可分离的数据，是的，您可以使用其他三阶多项式，但是那样一来，由于您定义了目标函数的结构，因此再次指出了有关数据的一些假设。在神经网络中。通常，您有一个输入层为您拥有的数据创建线性分隔符，然后隐藏层对与某些类绑定的区域进行“与”运算，最后一层对所有这些区域进行“或”运算。这样，您拥有的所有数据都可以通过非线性方式进行分类，所有这些过程都将使用内部学习的权重和定义的函数进行。另外，增加线性回归的特征数量与“维数诅咒”相反。另外，某些应用程序需要更多的概率结果，而不是恒定数作为输出。