使用贝叶斯神经网络的优点是什么

12

最近，我阅读了有关贝叶斯神经网络（BNN）[Neal，1992]，[Neal，2012]的一些论文，这些论文给出了神经网络中输入和输出之间的概率关系。通过MCMC训练这种神经网络，这与传统的反向传播算法不同。

我的问题是：使用这种神经网络有什么优势？更具体地说，您能否提供一些更适合BNN而非NN的示例？

bayesian neural-networks bayesian-network

— Fishiwhj
source

9

贝叶斯神经网络可用于解决数据稀缺的领域中的问题，以防止过度拟合。在这种情况下，他们经常击败所有其他方法。示例应用程序是分子生物学（例如本文）和医学诊断（数据通常来自昂贵且困难的过期工作的领域）。实际上，贝叶斯网络具有普遍的用途，可以在大量任务中获得更好的结果，但是要解决大问题却极为困难。

— 丹尼斯·塔拉索夫（Denis Tarasov）
source

2

您能解释为什么贝叶斯网络难以扩展吗？

— Ellis Valentiner

6

BNN优于NN的一个优势是，当处理未知目标的数据时，您可以自动计算与预测相关的误差。使用BNN，我们现在正在进行贝叶斯推理。让我们将BNN预测定义为，其中是NN函数，是您的输入，是神经网络参数，x，t是训练输入和目标。这应该与Neal在@forecaster提供的链接中使用的语法兼容。然后，我们可以计算后验预测分布的标准偏差，我会简单地将其用作预测的准确性： $\bar{f}(x′|x,t)=∫f(x′,ω)p(ω|x,t)dω$ $f$ $x'$ $ω$ $\sigma(x′)=\sqrt{∫[f(x′,ω)−\bar{f}(x′|x,t)]^2p(ω|x,t)dω}$

— 米歇尔·K
source

1

这是对话中的一个有趣的补充，但是按照我们的标准来说，它有点短。您能否详细说明一下，也许还提供参考？

— Sycorax说恢复莫妮卡

当然。使用BNN，我们现在正在进行贝叶斯推理。让我们将BNN预测定义为，其中f是NN函数，x'是您的输入，是NN参数，是训练输入和目标。这应该与Neal在@forecaster提供的链接中使用的语法兼容。然后，我们可以计算后验预测分布的标准偏差，我天真地将其用作预测的准确性：

\bar{f} (x^{'} | x, t) = \int f (x^{'}, ω) p (ω | x, t) d ω

$\bar{f}(x'|x,t) = \int{f(x',\omega)p(\omega|x,t) d\omega}$

ω

$\omega$

x, t

$x,t$

σ (x^{'}) = \sqrt{(} \int [f (x^{'}, ω) - \bar{f} (x^{'} | x, t)]^{2} p (ω | x, t) d ω)

$\sigma(x') = \sqrt(\int{[f(x',\omega)-\bar{f}(x'|x,t)]^2p(\omega|x,t) d\omega})$

— 米歇尔·K

请将此编辑为您的答案。

— Sycorax说恢复莫妮卡