为什么神经网络容易被愚弄？

我已经阅读了一些有关手动构造图像以“愚弄”神经网络的文章（见下文）。

这是因为网络仅对条件概率建模吗？ 如果网络可以对联合概率进行建模，是否还会发生这种情况？p （y ，x $p(y|x)$
$p(y,x)$

我的猜测是，这种人工生成的图像与训练数据不同，因此它们具有低概率。因此即使对于这些图像来说可以很高，应该低。p （y ，x ）p （y | x $p(x)$$p(y,x)$$p(y|x)$

更新资料

我尝试了一些生成模型，结果证明它没有帮助，所以我想这可能是MLE的结果吗？

我的意思是在的情况下KL散度被用作损失函数，值其中很小不影响损失。因此，对于一个人为的图像不匹配，的值可以是任意的。p d 一吨一个（X ）p d 一吨一个 p $p_{\theta}(x)$$p_{data}(x)$$p_{data}$$p_{\theta}$

更新资料

我发现Andrej Karpathy撰写的博客显示

这些结果并非特定于图像，卷积网络，也不是深度学习中的“缺陷”。

解释和利用对抗性示例容易欺骗深层神经网络：无法识别图像的高置信度预测

您所指的那种模型称为“生成”模型，而不是歧视性模型，它们实际上并不能扩展到高维数据。NN在语言任务中取得成功的部分原因是，从生成模型（HMM）转向了“更多”歧视模型（例如MEMM使用逻辑回归，该模型允许有效使用上下文数据https://en.wikipedia.org/ Wiki / Hidden_​​Markov_model＃Extensions）

我认为，他们被愚弄的原因是一个更普遍的问题。这是当前“浅” ML驱动的AI在更复杂的方法上的主导地位。[在许多论文中提到，其他ML车型也容易上当- http://www.kdnuggets.com/2015/07/deep-learning-adversarial-examples-misconceptions.html -伊恩·古德费洛]

对于许多任务而言，最有效的“语言模型”是“语言包”。没有人会声称这代表了一种有意义的人类语言模型。不难想象，这类模型也容易被愚弄。

类似地，诸如“对象识别”之类的计算机视觉任务也被“视觉的单词袋”进行了革新，后者摒弃了计算量更大的方法（无法应用于海量数据集）。

CNN是我认为更好的“文字袋”-正如您在图像中所显示的那样，错误是在像素级/低级功能上产生的；尽管存在夸张的说法，但在隐藏的层中并没有高水平的表示法-（每个人都会犯错，关键是一个人会由于较高的特征而犯“错误”，例如会认出猫的卡通，而我则不这样做。相信NN会如此）。

例如，“可变形零件”模型是更复杂的计算机视觉模型（其性能比NN差）的示例。

据我所知，大多数神经网络都不在输入图像上使用先验概率分布。但是，您可以将训练集的选择解释为这种概率分布。在这种情况下，这些人工生成的图像不太可能作为测试集中的图像被拾取。衡量“联合概率”的一种方法是随机生成图像，然后对其进行标记。问题在于，绝大多数的VAST没有标签。因此，获得合理数量的标记示例将花费太多时间。