ReLU激活的单层神经网络等于SVM？

假设我有一个简单的单层神经网络，具有n个输入和一个输出（二进制分类任务）。如果我将输出节点中的激活函数设置为S型函数，则结果将是Logistic回归分类器。

在相同的情况下，如果将输出激活更改为ReLU（整流线性单位），那么结果结构是否与SVM相同或相似？

如果不是，为什么？

neural-networks svm

— 广告
source

您对为什么会这样有任何假设吗？单个感知器= logistic的原因完全是由于激活-它们本质上是相同的模型，在数学上（尽管训练方式可能有所不同）-线性权重+适用于矩阵乘法的S形。SVM的工作方式大不相同-它们寻求最佳的行来分离数据-它们比“重” /“矩阵”更具几何形状。对我而言，关于ReLU的任何内容都不会让我认为= ah，它们与SVM相同。（虽然逻辑和线性svm的表现往往非常相似）

— metjush

svm的最大利润目标和relu激活函数看起来相同。因此是一个问题。

— 年

“ SVM的工作原理大相径庭-它们寻求最佳的行来分离数据-它们比“ weighty” /“ matrixy”更具有几何形状。多数民众赞成在一点点上摇摇欲坠-所有线性分类器都寻求最佳的行来分离数据，包括逻辑回归和感知器

— 公元

$E = max(1-ty,0)$

为了使网络损耗与SVM的形式相同，我们只需去除输出层上的所有非线性激活函数，然后将铰链损耗用于反向传播即可。

$E = ln (1 + exp(−ty))$

因此，就损失函数而言，支持向量机和逻辑回归非常接近，尽管支持向量机使用基于支持向量的非常不同的算法进行训练和推理。

在《模式识别和机器学习》一书的第7.1.2节中，对SVM和逻辑回归的关系进行了很好的讨论。

— Dontloo
source

感谢您指向本书。因此，我感觉到，除了激活功能之外，真正的区别在于所使用的优化算法。对于LR，我们可以使用简单的无约束梯度下降，而在SVM中，我们通常求解约束优化。

— 年