什么是贝叶斯深度学习？

13

什么是贝叶斯深度学习，它与传统贝叶斯统计数据和传统深度学习有何关系？

涉及的主要概念和数学是什么？我可以说这只是非参数贝叶斯统计吗？它的开创性工作以及当前的主要发展和应用是什么？

bayesian deep-learning

— Statslearner
source

10

在您的NIPS研讨会链接之外，Yee Whye Teh在NIPS上关于贝叶斯深度学习的主题演讲（视频：https : //www.youtube.com/watch?v= LVBvJsTr3rg，幻灯片：http：//csml.stats。 ox.ac.uk/news/2017-12-08-ywteh-breiman-lecture/）。我认为在演讲的某个时刻，Teh总结了贝叶斯深度学习是将贝叶斯框架应用于深度学习的思想（例如，学习后验神经网络的权重），而贝叶斯深度学习是将贝叶斯框架的学习思想应用于深度学习。贝叶斯框架（如深高斯过程或深指数族）。当然，有些想法可以跨越这两个概念，例如可变自动编码器。当大多数人说贝叶斯深度学习时，它们通常是两者中的任何一个，这反映在您链接的研讨会（以及上一年的研讨会）上被接受的论文中。虽然这些想法可以追溯到Neal在90年代关于神经网络的贝叶斯学习的工作（http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.446.9306&rep=rep1&type=pdf），并且从那以后已经有很多年了，也许最近最重要的论文之一就是原始变体自动编码器论文（https://arxiv.org/pdf/1312.6114.pdf）。

— 清理
source

10

我建议您首先了解传统贝叶斯神经网络中潜在的概率模型。在下文中，某些术语将以黑体字标出。请尝试搜索这些条款以查找更多详细信息。这只是基本概述。希望对您有所帮助。

让我们考虑的情况下回归的前馈神经网络，建立一些符号。

令表示输入层的预测变量值。所述的值单位在内层将被表示，对。最后，我们有了输出层。 $(x_1,\dots,x_p) =: \left(z^{(0)}_1,\dots,z^{(0)}_{N_0}\right)$ $\left(z^{(\ell)}_1,\dots,z^{(\ell)}_{N_\ell}\right)$ $\ell=1,\dots,L-1$ $(y_1,\dots,y_k) =:\left(z^{(L)}_1,\dots,z^{(L)}_{N_L}\right)$

对于在第层的单元的权重和偏差将分别由和表示，和。 $i$ $\ell$ $w^{(\ell)}_{ij}$ $b^{(\ell)}_i$ $\ell=1,\dots,L$ $i=1\dots,N_\ell$ $j=1,\dots,N_{\ell-1}$

令是单元在层上的激活函数，对于和。 $g^{(\ell)}_i : \mathbb{R}^{N_{\ell-1}} \to \mathbb{R}$ $i$ $\ell$ $\ell=1,\dots,L$ $i=1\dots,N_\ell$

常用的激活函数是logistic，ReLU（又称正部分）和tanh。

现在，对于，定义层转换函数其中对于。 $\ell=1,\dots,L$

G^{（ ℓ ）} ： {[R}^{ñ_{ℓ - 1个}} \to {[R}^{ñ_{ℓ}} ： （ ž_{1个}^{（ ℓ - 1个 ）} ， \dots ， ž_{ñ_{ℓ - 1个}}^{（ ℓ - 1个 ）} ） \mapsto （ ž_{1个}^{（ ℓ ）} ， \dots ， ž_{ñ_{ℓ}}^{（ ℓ ）} ） ，

$G^{(\ell)} : \mathbb{R}^{N_{\ell-1}} \to \mathbb{R}^{N_\ell} : \left(z^{(\ell-1)}_1,\dots,z^{(\ell-1)}_{N_{\ell-1}} \right) \mapsto \left( z^{(\ell)}_1,\dots,z^{(\ell)}_{N_\ell} \right),$

ž_{一世}^{（ ℓ ）} = G_{一世}^{（ ℓ ）} （ \sum_{Ĵ = 1个}^{ñ_{ℓ - 1个}} w_{一世 Ĵ}^{（ ℓ ）} ž_{Ĵ}^{（ ℓ - 1个 ）} + b_{一世}^{（ ℓ ）} ） ，

$z^{(\ell)}_i = g^{(\ell)}_i\!\left( \sum_{j=1}^{N_{\ell-1}} w^{(\ell)}_{ij} z^{(\ell-1)}_j + b^{(\ell)}_i\right),$

i = 1, \dots, N_{ℓ}

$i=1,\dots,N_{\ell}$

用表示所有层中所有单位的权重和偏差集，即我们的神经网络是函数由层过渡函数组成而获得： $\theta$

θ = {w_{一世 Ĵ}^{（ ℓ ）} ， b_{一世}^{（ ℓ ）} ： ℓ = 1个 ， \dots ， 大号; 一世 = 1个 \dots ， ñ_{ℓ}; Ĵ = 1个 ， \dots ， ñ_{ℓ - 1个}} ，

$\theta = \left\{ w^{(\ell)}_{ij},b^{(\ell)}_i : \ell=1,\dots,L \,;\, i=1\dots,N_\ell \,;\, j=1,\dots,N_{\ell-1} \right\},$

G_{θ} : R^{p} \to R^{k}

$G_\theta : \mathbb{R}^p\to\mathbb{R}^k$

G_{θ} = G^{（ 大号 ）} \circ G^{（ 大号 - 1个 ）} \circ \dots \circ G^{（ 1个 ）} 。

$G_\theta = G^{(L)} \circ G^{(L-1)} \circ \dots \circ G^{(1)}.$

上面的描述中不涉及任何概率。最初的神经网络业务的目的是功能拟合。

深度学习中的“深度” 代表正在考虑的神经网络中许多内部层的存在。

给定训练集 ，我们试图最小化目标函数超过。对于预测的一些矢量在试验组中，预测的响应仅仅是，其中是解找到最小化问题。最小化的黄金标准是TensorFlow库使用现代GPU中可用的并行化工具实现的反向传播 $\{ (\mathbf{x}_i,\mathbf{y}_i) \in \mathbb{R}^p\times\mathbb{R}^k : i = 1,\dots,n \}$

\sum_{i = 1}^{n} ‖ y_{i} - G_{θ} (x_{i}) ‖^{2},

$\sum_{i=1}^n \lVert \mathbf{y}_i-G_\theta(\mathbf{x}_i) \rVert^2,$

θ

$\theta$

x^{*}

$\mathbf{x}^*$

G_{\hat{θ}} (x^{*})

$G_\hat{\theta}(\mathbf{x}^*)$

\hat{θ}

$\hat{\theta}$ 的（对于您的项目，请查看Keras界面）。而且，现在有可用的硬件来封装这些任务（TPU）。由于神经网络通常是过度参数化的，因此为了避免过度拟合，会将某种形式的正则化添加到配方中，例如，对目标函数添加诸如惩罚之类的岭，或在训练期间使用辍学。杰弗里·欣顿（Geoffrey Hinton，又名“深度学习教父”）和合作者发明了许多这样的东西。深度学习的成功故事无处不在。

图像是在80年代末和90年代初引入高斯似然和一个简单的（可能是简单的）高斯先验，假设网络中所有权重和偏差的先验独立性：

{大号}_{X ， ÿ} （ θ ， σ^{2} ） \propto σ^{- ñ} 经验值 （ - \frac{1个}{2 σ^{2}} \sum_{一世 = 1个}^{ñ} ‖ ÿ_{一世} - G_{θ} （ X_{一世} ） ‖^{2} ） ，

$L_{\mathbf{x},\mathbf{y}}(\theta,\sigma^2)\propto \sigma^{-n} \exp\left(-\frac{1}{2\sigma^2} \sum_{i=1}^n \lVert \mathbf{y}_i-G_\theta(\mathbf{x}_i) \rVert^2\right),$

π （ θ ， σ^{2} ） \propto 经验值 （ - \frac{1个}{2 σ_{0}^{2}} \sum_{ℓ = 1个}^{大号} \sum_{一世 = 1个}^{ñ_{ℓ}} （ {（ b_{一世}^{（ ℓ ）} ）}^{2} + \sum_{Ĵ = 1个}^{ñ_{ℓ - 1个}} {（ w_{一世 Ĵ}^{（ ℓ ）} ）}^{2} ） ） \times π （ σ^{2} ） 。

$\pi(\theta,\sigma^2) \propto \exp\left( -\frac{1}{2\sigma_0^2} \sum_{\ell=1}^L \sum_{i=1}^{N_\ell} \left( \left(b^{(\ell)}_i\right)^2 + \sum_{j=1}^{N_{\ell-1}} \left(w^{(\ell)}_{ij}\right)^2 \right) \right) \times \pi(\sigma^2).$

因此，权重和偏差的边际先验是具有零均值和共同方差正态分布。可以使原始的联合模型更多地参与其中，并在使推理更加困难的方面进行权衡。 $\sigma_0^2$

贝叶斯深度学习面临着从相应的后验分布进行采样的艰巨任务。完成此操作后，将自然地使用后验预测分布进行预测，并完全量化这些预测中涉及的不确定性。贝叶斯深度学习的圣杯是构建高效且可扩展的解决方案。此任务中使用了许多计算方法：Metropolis-Hastings和Gibbs采样，哈密顿量蒙特卡罗（Hamiltonian Monte Carlo），以及最近的变分推断（Variativeal Inference）。

观看NIPS会议视频，了解一些成功案例：http : //bayesiandeeplearning.org/

— 禅
source