预测神经网络的置信度

假设我想训练一个深度神经网络来执行分类或回归，但是我想知道预测的信心。我怎样才能做到这一点？

我的想法是根据每个训练数据在上述神经仪中的预测性能来计算交叉熵。然后，我将训练第二​​个神经网络进行回归，该神经网络将每个数据作为输入，并将交叉熵作为输出（一个输出节点）。然后，您将在实践中使用这两个网络-一个用于预测标签/值，另一个用于预测第一个网络的置信度。（...但是我是否需要第三个网络来预测第二个网络的置信度，依此类推...？！）

这是一个有效的主意吗？此外，这是常用的标准观念吗？如果没有，您会提出什么建议？

也许我误解了这个问题，但是对于分类而言，在我看来，标准的方法是为每个 N类别。

然后N，[0, 1]输出值的向量表示输入属于每个类别的概率，因此可以解释为您要获取的“置信度”。

对于对NN预测置信度估计感兴趣的人们，您不妨看一下Dropout作为贝叶斯近似：代表深度学习中的模型不确定性（Gal等人，2016）。简而言之，它演示了如何将网络预测的方差随在其中执行了下降的一组运行中的下降而用于估计预测置信度。该方法可用于设计用于分类或回归的网络。