将神经网络表示为矩阵是否有益?


9

神经网络是有向加权图。这些可以用(稀疏)矩阵表示。这样做可以暴露网络的某些优雅特性。

这种技术对检查神经网络有益吗?


这是针对交叉验证的SE。
Franck Dernoncourt '16年

你好 以下答案是否有帮助?如果是,请考虑接受一个:)
Dawny33 '17

Answers:


4

对于大型人工神经网络,在实践中使用了等效于“稀疏矩阵格式”的东西。

与给出的另一个答案相反,将人工神经网络视为图表实际上并不能带来太多收益,这有两个原因:

  1. 可以根据矩阵运算来定义反向传播算法。此页面提供了可读且全面的描述。

  2. 所有实值矩阵都可以表示为图形,但是相反情况显然并非如此。因此,虽然可以将ANN视为图数据结构的特殊情况,但以矩阵形式显式地进行专门化更为有效。


4

这取决于您要处理的神经网络的类型。

对于中型神经网络,矩阵方法是进行快速计算甚至误差的反向传播的好方法。甚至可以利用稀疏矩阵来理解某些神经网络的稀疏结构。

但是,对于非常大的神经网络,使用矩阵计算的计算量很大。因此,根据目的和体系结构,可以使用诸如基于图的存储等相关方法。


1

矩阵表示法对于在硅中实现神经网络非常有益。

但是对于凭经验检查神经网络,有时最好将突触权重值可视化为图像或视频:Jason Yosinski对卷积神经网络探索。该网络似乎有一个只检测肩膀的“过滤器”。有点像一把锁,只有在它识别出肩膀的图案时才会打开。在此处输入图片说明

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.