可视化深度神经网络训练

13

我正在尝试为多层网络找到等效的欣顿图，以在训练过程中绘制权重。

训练后的网络在某种程度上类似于Deep SRN，即它具有大量的多个权重矩阵，这会使多个Hinton图的同时绘制在视觉上造成混淆。

有人知道可视化多层多层递归网络权重更新过程的好方法吗？

我没有找到太多关于该主题的论文。我当时想在每层权重上显示与时间相关的信息，如果我无法解决问题。例如，随着时间的推移，每一层的权重增量（省略每个连接的使用）。PCA是另一种可能性，尽管我不想产生太多额外的计算，因为可视化是在培训期间在线完成的。

machine-learning neural-network visualization deep-learning

— 运行DOS
source

10

我知道的关闭事件是ConvNetJS：

ConvNetJS是一个Javascript库，用于完全在您的浏览器中训练深度学习模型（主要是神经网络）。打开一个标签，您正在训练。无需软件，无需编译器，无需安装，无需GPU，无需汗水。

该站点上的演示具有权重以及它们如何随时间变化（请记住，它的许多参数，因为实际网络中确实有很多神经元）。此外，如果您对它们的绘图不满意，则可以访问网络参数，并且可以根据需要进行绘图（因为它是JavaScript）。

— 皮格特·米格达（Piotr Migdal）
source

谢谢！有趣的是，他们选择使用多个欣顿图来绘制权重。我仍然认为，一旦您拥有太多的层/连接，就很难进行解释，但是至少在实际操作中看到它是一件好事。

— runDOSrun 2014年

5

基于我对与您的问题相关的主题的粗略理解，我认为Gephi（https://gephi.github.io；原始的gephi.org链接重定向到那里）应该能够处理神经网络动态可视化。看来，为了实现您的目标，您需要以相对应的权重（https://forum.gephi.org/viewtopic.php?t=1875）流化图。对于流式传输，您很可能需要此插件：https : //marketplace.gephi.org/plugin/graph-streaming。

更新：您可能还会找到有用的SoNIA软件：http ://web.stanford.edu/group/sonia 。

— 亚历山大·布莱克（Aleksandr Blekh）
source

1

非常有趣的主意！确实，可视化像社交网络这样的深层网络并不是我想的。这些模型之间的主要区别在于，这些图在其节点中编码信息，而神经网络则在其连接中进行编码。但是可以对其进行修改，例如通过将社交网络节点值设置为神经网络的传出连接权重。

— runDOSrun 2014年

我很高兴您喜欢这个主意。随意投票/接受。而且，不要忘了回顾SoNIA软件，该软件的链接我最近更新了我的答案。最后，如果您使用（或计划使用）R，那么这是另一个与您相关的有趣信息：sna.stanford.edu/rlabs.php。

— Aleksandr Blekh