极限学习机：这是什么一回事？

我一直在思考，实施和使用极限学习机（ELM）范例已有一年多了，而且我做的时间越长，就越怀疑这确实是一件好事。但是，我的观点似乎与科学界形成鲜明对比，在科学界，当使用引文和新出版物作为衡量标准时，这似乎是一个热门话题。

ELM已由Huang等人介绍。等大概在2003年左右。基本思想很简单：从2层人工神经网络开始，并在第一层随机分配系数。这将通常通过反向传播处理的非线性优化问题转换为简单的线性回归问题。更详细的，用于 $\mathbf x \in \mathbb R^D$ ，该模型是

f (x) = \sum_{i = 1}^{N_{hidden}} w_{i} σ (v_{i 0} + \sum_{k = 1}^{D} v_{i k} x_{k}) .

$f(\mathbf x) = \sum_{i=1}^{N_\text{hidden}} w_i \, \sigma\left(v_{i0} + \sum_{k=1}^{D} v_{ik} x_k \right)\,.$

现在，仅对 $w_i$ 进行调整（以使平方误差损失最小），而对 $v_{ik}$ 均进行随机选择。作为对自由度损失的补偿，通常的建议是使用大量隐藏节点（即自由参数 $w_i$ ）。

从另一个角度看（而不是一个通常在文献中推广，这是从神经网络侧），整个过程是简单的线性回归，而是一个你选择你的基础函数 $\phi$ 随机，例如

ϕ_{i} (x) = σ (v_{i 0} + \sum_{k = 1}^{D} v_{i k} x_{k}) .

$\phi_i(\mathbf x) = \sigma\left(v_{i0} + \sum_{k=1}^{D} v_{ik} x_k \right)\,.$

（对于S形函数，除了S形函数外，还有许多其他选择。例如，使用径向基函数也应用了相同的原理。）

从这个角度来看，整个方法变得过于简单了，这也是我开始怀疑该方法确实是一种好的方法的观点（...而科学营销肯定是这样）。所以，这是我的问题：

在我看来，使用随机基函数对输入空间进行栅格化的想法对于低尺寸而言是有益的。在高维中，我认为使用具有合理数量基函数的随机选择是不可能找到好的选择的。因此，ELM是否会在高维度上退化（由于维数的诅咒）？
您是否知道实验结果支持/矛盾这一观点？在链接的论文中，只有一个27维回归数据集（PYRIM），其中该方法的执行效果与SVM类似（而我希望与反向传播ANN进行比较）
更笼统地说，我想在这里发表您对ELM方法的评论。

regression

— 大卫高
source

全文请参见此处：theanonymousemail.com/view/?msg=ZHEZJ1AJ

— davidhigh

Answers:

您关于使用ELM解决高维问题的直觉是正确的，我对此有一些结果，我正准备将其发布。对于许多实际问题，数据不是很非线性，ELM表现也很好，但是总会有一些数据集，其中维数的诅咒意味着在需要的地方找到具有曲率的良好基函数的机会变得相当大。即使有很多基向量也很小。

我个人将使用最小二乘支持向量机（或径向基函数网络）之类的东西，并尝试以贪婪的方式从训练集中的那些中选择基向量（例如参见我的论文，但还有其他/更好的例子）。大约在同一时间出版的方法，例如，在Scholkopf和Smola撰写的关于“与内核学习”的非常好的书中）。我认为最好是为精确问题计算一个近似解，而不是为一个近似问题计算一个精确解，并且内核机器具有更好的理论基础（对于固定的内核； o）。

— 迪克兰有袋动物
source

+1。我以前从未听说过ELM，但是从OP中的描述来看，它听起来有点像液体状态机（LSM）：随机网络连接并仅优化读出权重。但是，在LSM中，随机的“存储库”是经常性的，而在ELM中，它是前馈的。那确实是相似和不同吗？

— 变形虫说恢复莫妮卡

谢谢您的好的回答，请在论文发表后更新答案。关于内核：当然，您还有ELM的“内核”版本。只需用一些（不一定是正定的）内核

然后随机选择很多

。这里与原始ELM中的“技巧”相同，同样的问题。您提到的用于选择中心的方法在这里也很重要（即使ELM和SVM中的目标函数不同）……这可能会将其从“完全盲法”转变为“半盲法”。

k (x, x_{i})

$k(\mathbf x,\mathbf x_i)$

x_{i}

$\mathbf x_i$

— davidhigh

@amoeba：我不知道液体状态机，但是从您的话来说，听起来确实很相似……当然，从技术上讲，它更一般。重复性仍然给问题增加了一种更为复杂的随机性，在我看来，这不能解决维数诅咒问题（...但是好吧，这是谁做的？）。这些递归权重是经过谨慎选择还是完全随机选择？

— davidhigh

对于RBF内核@davidhigh，“代表定理”表明没有比在每个训练样本上集中基函数更好的解决方案（对正则化成本函数进行一些合理的假设）。这是内核方法（和样条线）的一项不错的功能，因此无需随机分布它们。顺便说一句，在随机选择的基函数的输出上构造线性模型已有很长的历史了，我最喜欢的是单层查找感知器ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=51949&tag=1，但是我可能有偏见！

— Dikran有袋动物2015年

您发布了@DikranMarsupial或发布前有任何可用的内容吗？

— 汤姆·黑尔

ELM通过分析求解输出权重从数据中“学习”。因此，馈入网络的数据越大，产生的结果越好。但是，这也需要更多数量的隐藏节点。如果对ELM进行了几乎没有错误的培训，则在给定一组新的输入时，它将无法产生正确的输出。

ELM相对于传统神经网络（例如反向传播）的主要优势在于其快速的训练时间。如Huang论文所述，大部分计算时间都用于解决输出层权重。

— 用户名
source