神经网络是否像决策树一样具有可解释性？

在决策树中，我们可以了解树结构的输出，还可以可视化决策树如何制定决策。因此，决策树具有可解释性（可以轻松解释其输出。）

我们像决策树一样在神经网络中具有可解释性吗？

我不同意先前的回答和您的建议，原因有两个：

1）决策树基于简单的逻辑决策，这些逻辑决策结合在一起可以做出更复杂的决策。但是，如果您的输入具有1000个维度，并且学习到的特征是高度非线性的，则您会得到一个很大而沉重的决策树，仅通过查看节点就无法阅读/理解。

2）神经网络的相似之处在于，它们学习的功能只有在很小的情况下才可以理解。变大时，您需要其他技巧来理解它们。正如@SmallChess所建议的那样，您可以阅读这篇名为《可视化和理解卷积网络》的文章，该文章针对卷积神经网络的特殊情况解释了如何读取权重来理解诸如“在这张图片中检测到了汽车，这主要是由于轮子，而不是其余组件”。

这些可视化帮助许多研究人员真正了解了其神经体系结构的弱点，并有助于改进训练算法。

不能。神经网络通常很难理解。您需要为模型复杂性交换预测能力。尽管可以图形化地显示NN权重，但它们并不能告诉您确切的决策方式。希望能了解深度网络的祝您好运。

有一个流行的Python软件包（有论文），可以使用更简单的模型在本地对NN进行建模。您可能想看看。

https://github.com/marcotcr/lime

https://arxiv.org/abs/1704.02685提供NN特定的本地解释工具：深层提升。它通过传播要解释的实例和参考实例之间的激活差异来工作。获取参考有些棘手，但是该工具总体上似乎是可解释和可扩展的。我们在表格数据上使用它。