内核化技巧，用于神经网络

我一直在学习神经网络和SVM。我阅读的教程强调了内核化对于SVM的重要性。没有内核功能，SVM只是线性分类器。通过内核化，SVM还可以合并非线性功能，这使它们成为更强大的分类器。

在我看来，也可以将内核化应用于神经网络，但是我见过的神经网络教程都没有提到这一点。人们通常在神经网络中使用内核技巧吗？我认为一定有人尝试过它，看看它是否有很大的不同。内核化对神经网络的帮助与对SVM的帮助一样吗？为什么或者为什么不？

（我可以想像几种将核技巧整合到神经网络中的方法。一种方法是使用合适的核函数将输入（的向量）预处理为高维输入，R m中的向量对m ≥ ñ。对于多层神经网络，另一种方法是在神经网络的每个级别应用内核函数。）$\mathbb{R}^n$$\mathbb{R}^{m}$$m\ge n$

我认为您可能会以某种混淆方式混淆术语。SVM通过定义线性决策边界（即超平面）来工作。我们可以根据点之间的内积来定义此超平面。因此，如果我们将内部乘积定义为处于某个高维甚至无限维的空间中，那么在此新空间中看起来像一个超平面的东西在原始特征空间中就不一定是线性的。因此，一切仍然是线性的，我们唯一要做的就是将这些点隐式地（通过新的内积）嵌入到更高维度的空间中。也许您已经知道了这一切。

关于神经网络，有两个问题要考虑。第一个是@Yuval Filmus提出的，因为隐藏层神经网络不仅仅依赖于点之间的内部乘积。如果删除隐藏层，则将只有逻辑回归之类的东西，其中包含内核版本。也许有办法解决这个问题，但我看不到。

其次，您提到了通过投影到更高但不是无限的尺寸空间中来预处理输入。神经网络定义了决策表面，并且该表面不限于线性。这意味着将这些点投影到更高维度的空间中所获得的收益将有所不同，即，它可以使找到一组良好的权重变得更加容易，但是我们并不一定会使我们的模型变得更强大。这是从通用逼近定理得出的，该定理告诉我们，在有足够多的隐藏单元的情况下，我们可以近似任何函数（在某些限制下）。最后的陈述是虚空的，我有点讨厌提及。通过不告诉您有关如何找到合适权重的任何信息，从应用程序角度来看并没有多大帮助。

由于SVM的学习过程具有特殊的属性，因此对于SVM来说，内核技巧是可能的。神经网络似乎没有该属性（据我所知）。

让在训练集中的点。通常，您希望机器学习算法会查看x i的值。但是，SVM学习过程具有相当显着的特性。它不需要知道x i的值。它足以能够计算X 我 ⋅ X Ĵ任何期望对输入点（即，来计算点积对应于任一所选的输入向量）; 这就是SVM学习过程的全部需求。$x_1,\dots,x_n \in \mathbb{R}^d$$x_i$$x_i$$x_i \cdot x_j$

SVM学习过程的这一特殊属性使我们可以使用内核技巧。我们可以定义一个核函数以使K （x i，x j）是输入的某些非线性变换的点积。如果我们通过一个非线性变换变换所述输入向量φ ：- [R d → ř米（对于一些米> d），则我们定义ķ （X 我，X Ĵ）= φ （X 我）＆CenterDot;＆$K$$K(x_i,x_j)$$\phi : \mathbb{R}^d \to \mathbb{R}^m$$m > d$。接下来酷的特性是，对于一些非线性变换 φ，可以计算 ķ （X 我，X Ĵ）比计算更有效 φ （X 我），φ （X Ĵ）明确，然后计算它们的点积; 你可以计算 ķ （X 我，X Ĵ）在 Ô （d ）时间（比方说），而不是 Ø （米$K(x_i,x_j) = \phi(x_i) \cdot \phi(x_j)$$\phi$$K(x_i,x_j)$$\phi(x_i),\phi(x_j)$$K(x_i,x_j)$$O(d)$$O(m)$ 时间。

$x_i \cdot x_j$$K(x_i,x_j)$$x_i$

我想分享我的一些看法。输入维数：144。我训练了一个神经网络，在训练过程中，将隐藏层的输出作为逻辑回归的输入，并绘制了拟合模型后损失函数的平均值。

我们可以看到，随着图层大小的增加，隐藏图层的特征或输出变得线性可分离。尽管这是学习核化特征向量的目的，但神经网络似乎是在内部进行的。