现在不能说深度学习模型可以解释吗？是节点功能吗？

对于统计模型和机器学习模型，可解释性有多个级别：1）整个算法，2）一般的算法部分3）特定输入的算法部分，这三个级别分别分为两个部分，一种用于训练，另一种用于功能评估。最后两个部分比第一个部分更接近。我问的是＃2，通常可以更好地理解＃3。（如果这些不是“可解释性”的含义，那我应该怎么想？）

就可解释性而言，逻辑回归是最容易解释的一种。为什么此实例超过阈值？因为该实例具有此特定的正特征，并且在模型中具有较大的系数。太明显了！

神经网络是难以解释的模型的经典示例。所有这些系数是什么意思？它们全都以如此复杂的疯狂方式加起来，以至于很难说出任何特定系数在做什么。

但是随着所有深层神经网络的出现，感觉事情变得越来越清晰。DL模型（例如视觉）似乎在早期层中捕获了诸如边缘或方向之类的东西，而在后来的层中，似乎某些节点实际上是语义上的（例如众所周知的“祖母细胞”）。例如：

（摘自“了解深度学习”）

这是一个图形（许多在那里的，用手演示文稿中创建让我很怀疑）。但是有证据表明有人认为这是有效的。

也许在过去，没有足够的层次供我们查找可识别的功能。这些模型是成功的，只是事后分析特定模型并不容易。

但是也许图形只是一厢情愿的想法。也许神经网络是真正难以理解的。

但是，许多带有标有图片的节点的图形也确实令人信服。

DL节点真的对应功能吗？

深入模型的解释仍然具有挑战性。

1. 您的帖子仅提及用于计算机视觉应用的CNN，但是（深度或浅层）前馈网络和递归网络仍然难以理解。

2. 即使在CNN具有明显的“特征检测器”结构（例如像素块的边缘和方向）的情况下，也不清楚如何将这些较低级别的特征向上聚合，或者这些视觉特征在什么情况下会发生什么聚集在一个完全连接的层中。

3. 对抗性的例子说明了如何解释网络是多么困难。一个对抗性示例对其进行了一些微小的修改，但是导致模型决策的巨大变化。在图像分类的背景下，添加到图像中的少量噪声会改变蜥蜴的图像，从而可以高度自信地将其分类为另一种动物，例如（某物种）狗。

从某种意义上说，这与可解释性有关，即噪声的（小）数量与分类决策的（大）偏移之间存在强烈的，不可预测的关系。考虑一下这些网络的运行方式，这是有一定道理的：前一层的计算会向前传播，因此随着使用该方法执行越来越多的计算，许多错误（对人类而言不重要的小错误）都会被放大并累积。 “损坏的”输入。

另一方面，对抗性示例的存在表明，很难将任何节点解释为特定特征或类，因为激活该节点的事实可能与原始图像的实际内容无关，并且就原始图像而言，这种关系并不是真正可预测的。但是在下面的示例图像中，没有人被图像内容欺骗：您不会将旗杆弄成狗。我们如何解释这些决定，要么以整体（一个小的噪声模式将蜥蜴““变”为狗，要么将旗杆变为狗）或以较小的碎片（几个特征检测器对噪声模式比实际图像更敏感）来解释这些决定。内容）？

HAAM是一种有前途的使用谐波函数生成对抗图像的新方法。（“谐波对抗攻击方法”衡文，周书昌，姜婷婷。）使用此方法生成的图像可用于模拟光照/阴影效果，通常对于人类检测到已改变的图像更具挑战性。

例如，请参见这张图片，摘自Seyed-Mohsen Moosavi-Dezfooli，Alhussein Fawzi，Omar Fawzi和Pascal Frossard的“ 普遍对抗性摄动 ”。我之所以选择这张图片，是因为它是我遇到的第一批对抗图片之一。该图像确定特定的噪声模式对图像分类决策有奇怪的影响，特别是您可以对输入图像进行少量修改，并使分类器认为结果是狗。请注意，基本的原始图像仍然很明显：在所有情况下，人类都不会误以为任何非狗图像都是狗。

这是Ian J. Goodfellow，Jonathon Shlens和Christian Szegedy撰写的更为规范的论文中的第二个示例，“ 解释和利用对抗性示例 ”。所产生的图像中所添加的噪声完全无法区分，但是非常有把握地将结果归类为错误的结果，用长臂猿而不是熊猫。在这种情况下，至少在两类动物之间至少存在传递相似性，因为长臂猿和大熊猫在生物学上和美学上至少在某种程度上是相似的。

第三个示例摘自JoãoMonteiro，Zahid Akhtar和Tiago H. Falk的“ 基于双模型决策不匹配的通用对抗示例检测 ”。它确定了噪声模式对于人来说是无法区分的，但是仍然使分类器感到困惑。

作为参考，泥p是一种带有四个肢体和一条尾巴的深色动物，因此它与金鱼并没有太大的相似之处。

4. 我今天才找到这篇论文。Christian Szegedy，Wojciech Zaremba，Ilya Sutskever，Joan Bruna，Dumitru Erhan，Ian Goodfellow，Rob Fergus。“ 神经网络的有趣特性 ”。摘要包括以下引人入胜的引语：

首先，根据各种单元分析方法，我们发现各个高级单元和高级单元的随机线性组合之间没有区别。这表明在神经网络的高层中包含语义信息的是空间而不是单个单元。

因此，这些节点没有代表更高级别的“特征检测器”，而是仅代表网络用来对数据建模的特征空间中的坐标。

图层无法像我们想要的那样清晰地映射到更抽象的特征上。看到这种情况的一种好方法是比较两种非常流行的体系结构。

VGG16由许多卷积层组成，这些卷积层彼此堆叠，偶尔有池化层-一种非常传统的体系结构。

从那时起，人们开始着手设计残差架构，其中每一层不仅连接到上一层，而且还连接到模型中更远的一层（或可能更多）。ResNet是第一个这样做的公司，它大约有100层，具体取决于您使用的变体。

尽管VGG16和类似的网络确实具有以或多或少可解释的方式起作用的层-学习越来越高的功能，但是ResNets却不这样做。取而代之的是，人们建议他们要么继续完善特征以使其更准确，要么它们只是变相的一堆浅层网络，这两者都不符合深度模型学习的“传统观点”。

尽管ResNet和类似的体系结构在图像分类和对象检测方面轻而易举地胜过VGG，但似乎有些应用对于VGG的简单的自下而上的功能层次非常重要。请参阅此处进行良好的讨论。

因此，鉴于更多的现代架构似乎不再适合该图片，我想说我们还不能完全说CNN是可解释的。

我的博士论文的主题是揭示具有一层或两层隐藏层的神经网络（特别是前馈神经网络）的黑盒特性。

我将接受挑战，在一个单层前馈神经网络中向所有人解释权重和偏差项的含义。将讨论两种不同的观点：参数性观点和概率性观点。

在下文中，我假设通过线性缩放（），已将提供给每个输入神经元的输入值全部归一化为间隔（0,1）。为每个输入变量选择系数和，使得。我区分实数变量和枚举变量（布尔变量作为特殊情况下的枚举变量）：$x_{input}=\alpha \cdot x + \beta$$\alpha$$\beta$$x_{input} \in (0,1)$

• 线性缩放后，实数变量以到之间的十进制数形式提供。$0$$1$
• 枚举变量，以星期几（星期一，星期二等）表示，由输入节点表示，其中代表可取结果的数量，即一周中的天数为。$v$$v$$7$

为了能够解释输入层中权重的（绝对值）大小，需要使用这种输入数据表示形式。

参数含义：

• 的较大的绝对值的重量是输入神经元和一个隐藏的神经元之间，更重要的变量是，对于该特定的隐藏节点的“fireing”。权重接近 表示输入值与相关值一样好。 $0$
• 从隐藏节点到输出节点的权重表示，在绝对意义上被该隐藏神经元放大的输入变量的加权放大，它们可以促进或抑制特定的输出节点。体重的迹象表明促进（正）或抑制（负）。
• 在神经网络的参数中未明确表示的第三部分是输入变量的多元分布。也就是说，将值提供给输入节点频率有多大 -权重很大的隐藏节点呢？$1$$3$$2$
• 偏置项只是一个平移常数，它会移动隐藏（或输出）神经元的平均值。它的作用类似于上面介绍的。$\beta$

从输出神经元进行推理：哪些隐藏神经元在与输出神经元的连接上具有最高的绝对权重值？每个隐藏节点的激活频率接近频率（假定为S型激活函数）。我说的是在训练集上测得的频率。准确地说：对输入变量和具有较大权重的隐藏节点和，这些隐藏节点和接近的频率是多少？$1$$i$$l$$t$$s$$i$$l$$1$？根据定义，每个隐藏节点都会传播其输入值的加权平均值。每个隐藏节点主要提升或抑制哪些输入变量？另外，很大程度上解释了，在权重的权重之间的绝对差扇出从隐藏节点到两个输出节点和。$\Delta_{j,k}=\mid w_{i,j} - w_{i,k}\mid$$i$$j$$k$

较重要的隐藏节点是输出节点（在训练集中以频率说话），哪个“输入权重乘以输入频率”最重要？然后，我们探讨了前馈神经网络参数的重要性。

概率解释：

概率观点意味着将分类神经网络视为贝叶斯分类器（最佳分类器，具有理论上定义的最低错误率）。哪些输入变量会影响神经网络的结果-以及多久影响一次？将此视为概率敏感性分析。一个输入变量的变化多久能导致一个不同的分类？输入神经元多久对哪个分类结果最可能产生潜在影响，这意味着相应的输出神经元达到最高值？$x_{input}$

个案-模式

当改变实数输入神经元可能导致最可能的分类发生变化时，我们说此变量具有潜在的影响。当更改枚举变量的结果时（将工作日从星期一更改为星期二或任何其他工作日），以及最有可能的结果更改，则该枚举变量可能会对分类结果产生潜在影响。$x_{input}$$[1,0,0,0,0,0,0]$$[0,1,0,0,0,0,0]$

现在，当我们考虑到这种变化的可能性时，我们便说出了预期的影响。给定所有其他输入的值，观察变化的输入变量使得输入个案改变结果的概率是多少？预期影响是指预期值，的，即。这里是所有输入值的向量，输入除外。请记住，枚举变量由许多输入神经元表示。这些可能的结果在这里被视为一个变量。 X 我Ñ p ù 吨 È （X 我Ñ p ü 吨 | X - 我Ñ p Ù 吨）X - 我Ñ p ü 吨 X 我Ñ p ù $x_{input}$$x_{input}$$E(x_{input} \mid {\bf x}_{-input})$${\bf x}_{-input}$$x_{input}$

深入学习-NN参数的含义

当应用于计算机视觉时，神经网络在过去十年中已显示出惊人的进步。LeCunn于1989年引入的卷积神经网络最终在图像识别方面确实表现出色。据报道，它们可以胜过大多数其他基于计算机的识别方法。

当训练卷积神经网络进行对象识别时，就会出现有趣的新兴属性。隐藏节点的第一层表示低级特征检测器，类似于尺度空间运算符T. Lindeberg，“具有自动尺度选择的特征检测”，1998年。这些比例空间运算符检测

• 线，
• 角落，
• 丁字路口

和其他一些基本图像功能。

更有趣的是，事实证明，哺乳动物大脑中的知觉神经元类似于（生物）图像处理第一步中的这种工作方式。因此，使用CNN，科学界正在接近使人类的感知如此惊人的原因。这使得进行进一步的研究非常有价值。