促进神经网络


Answers:


8

在增强中,弱或不稳定的分类器用作基础学习器。之所以如此,是因为目标是生成差异很大的决策边界。那么,一个好的基础学习者是一个高度偏见的人,换句话说,即使基础学习者的训练参数稍有变化,输出也基本保持不变。

在神经网络中,辍学是一种可以与训练合奏相比较的正则化技术。不同之处在于在潜在空间(是否存在神经元)中进行了集合,从而减小了泛化误差。

“因此,每个训练示例都可以看作是为不同的,随机采样的体系结构提供了梯度,因此最终的神经网络有效地代表了具有良好泛化能力的巨大神经网络集合”-从这里引用。

有两种这样的技术:在辍学中丢弃神经元(意味着神经元以一定的概率存在或不存在),而在丢弃连接中,权重被丢弃。

现在,要回答您的问题,我相信神经网络(或感知器)不会在增强设置中用作基础学习器,因为它们的训练速度较慢(花费太多时间),并且学习器也没有那么弱,尽管它们可以设置为更加不稳定。因此,不值得付出努力。

可能对此主题进行过研究,但是很遗憾,效果不好的想法通常无法成功发布。我们需要进行更多研究,以涵盖那些无处可走的途径,也就是“不要费力尝试”。

编辑:

我对此有更多了解,如果您对大型网络的集成感兴趣,那么您可能会提到组合多个此类网络的输出的方法。大多数人会根据任务平均或使用多数投票-这可能不是最佳选择。我相信应该可以根据特定记录上的错误来更改每个网络输出的权重。输出的相关性越小,则合奏规则越好。


2

我看到这个答案还没有被接受,所以我会给出一个非常启发性的答案。是的,它已经完成了....例如,它在JMP Pro中可用(可能是您从未听说过的最好的统计数据包)。 http://www.jmp.com/support/help/Overview_of_Neural_Networks.shtml

该页面的中间有一个描述。我没有花任何时间研究该理论,但似乎暗示这与在一个较大的模型中使用更多节点基本上取得了相同的结果。[他们的主张]的优点在于模型拟合的速度。

对于一个非常粗略的量规,我将其与一个具有2个Sigmoid和2个高斯节点的数据集进行了比较,并在单个模型中针对12个Sigmoid和12个高斯节点将模型提升了6x,结果在我的测试数据集上几乎相同。

我也没有注意到任何速度差异...但是数据集只有1600点,并且我只使用12个变量,因此在具有更多变量的较大数据集上,可以认为存在明显的计算差异。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.