人们为什么不将更深的RBF或RBF与MLP结合使用？

因此，在查看径向基函数神经网络时，我注意到人们只建议使用1个隐藏层，而对于多层感知器神经网络，则认为多层更好。

鉴于可以用反向传播的版本训练RBF网络，是否有任何原因为什么较深的RBF网络不起作用，或者RBF层不能用作深度MLP网络中的倒数第二层或第一层？（我一直在考虑倒数第二层，因此基本上可以对之前的MLP层学习的功能进行训练）

machine-learning neural-networks rbf-network

— 用户名
source

我不是NN专家，但我的印象是，使用标准前馈NN时，多个隐藏层通常不会增加太多。

— gung-恢复莫妮卡

那是在NN研究的早期，但是现在通常更多的层是提高性能（深度学习）的秘诀。我认为当前最喜欢的方法是智能初始化，尽可能多地进行分层，通过dropout和softmax进行正则化，而不是通过S型激活来避免饱和。（但是我可能在技术上是错误的）。我认为有些人还使用迭代加深来获得更好的结果。此外，Google在2014年通过100层网络在imageNet上获得了最先进的技术。

— user1646196 2015年

根本问题是RBF过于a）非线性； b）不进行尺寸缩减。

因为a）RBF总是通过k均值而不是梯度下降进行训练。

我可以说深度神经网络的主要成功是卷积网络，其中关键部分之一是降维：尽管使用128x128x3 = 50,000个输入进行工作，但是每个神经元都有一个有限的接受场，并且每一层中的神经元都少得多在MLP的给定层中，每个神经元代表一个特征/维数，因此您不断降低维数（在层与层之间移动）。

尽管可以使RBF协方差矩阵具有自适应性，而使维数减少也可以使自适应性增强，但这使训练变得更加困难。

— seanv507
source

我最近阅读了一篇论文，该论文提出了一种用于训练RBF网络的反向传播算法。鉴于这对于将RBF作为深度网络的最后一层会有所好处吗？我认为，以这种形式，深度网络的其余部分实际上将检测到RBF可以分类的功能

— user1646196，2015年

也许您应该链接到本文，然后人们可以给出更明智的答案。我没有看到任何好处...鉴于RBF太非线性了（例如，乙状结肠已被relu取代，因为它们太不线性了，梯度逐渐消失...）。人们要做的是在顶部带有标准mlp的转换网络进行训练，然后扔掉mlp并使用svm

— seanv507

本文的内容是“使用选择性反向传播训练RBF网络”，不确定是否可以在此处阅读或是否有收费专区sciencedirect.com/science/article/pii/S0925231203005411。我不知道由于非线性，乙状结肠已被relu取代，但是鉴于我可以看到如何避免增加的非线性。我会将答案标记为已接受：)

— user1646196'5