神经网络是黑盒子的含义吗？

我经常听到人们谈论神经网络，就像黑盒子一样，您不了解它的作用或含义。我实际上不明白他们的意思！如果您了解反向传播的工作原理，那么黑匣子又如何呢？

它们是否意味着我们不了解如何计算权重或什么？

从某种意义上说，神经网络是一个黑盒子，尽管它可以近似任何函数，但是研究其结构并不能使您对所近似函数的结构有任何见解。

例如，神经网络在银行业务上的一种常见用法是对按“好付款人”和“坏付款人”分类的借款人进行分类。您具有输入特征（性别，年龄，收入等）的矩阵和结果的向量（“默认”，“未默认”等）。当使用神经网络对此建模时，您假设在数学函数的正确意义上存在一个函数该函数f可以是任意复杂的，并且可能会随着业务的发展而变化，因此您无法手动获得它。$C$$R$$f(C)=R$

然后，您可以使用神经网络建立的近似值，其错误率对于您的应用程序是可以接受的。这样行之有效，并且精度可以任意降低-您可以扩展网络，微调其训练参数并获取更多数据，直到精度达到您的目标。$f$

黑匣子的问题是：神经网络给出的近似值不会使您对f的形式有任何了解。权重与要近似的函数之间没有简单的联系。甚至分析哪个输入特性都不相关也是一个悬而未决的问题（请参阅此链接）。

另外，从传统的统计角度来看，神经网络是不可识别的模型：给定一个数据集和网络拓扑，可以存在两个权重不同且结果相同的神经网络。这使得分析非常困难。

作为“非黑匣子模型”或“可解释模型”的示例，您具有回归方程式和决策树。第一个给出了f的封闭形式近似值，其中每个元素的重要性都明确，第二个是一些相对风险/赔率比率的图形描述。

Google已发布了Inception-v3。这是一种用于图像分类算法的神经网络（NN）（从狗身上讲出一只猫）。

在本文中，他们讨论了图像分类的当前状态

例如，GoogleNet仅使用了500万个参数，这比其前身AlexNet（使用6000万个参数）减少了12倍;此外，VGGNet使用的参数比AlexNet多了3倍

基本上这就是为什么我们将NN称为黑匣子。如果我训练一个具有1000万个参数的图像分类模型，并将其交给您。你能做什么呢？

您当然可以运行它并对图像进行分类。它将很棒！但是，您无法通过研究所有权重，偏差和网络结构来回答以下任何一个问题。

• 该网络能否告诉贵宾犬中的哈士奇犬？
• 哪些对象易于对算法进行分类，哪些困难？
• 正确区分狗的哪一部分最重要？尾巴还是脚？
• 如果我用photoshop的猫头照在狗上，会发生什么，为什么？

您也许可以通过运行NN并查看结果（黑框）来回答问题，但是您无需了解为什么它在边缘情况下的表现方式。