有人可以解释反向传播算法吗？[重复]

什么是反向传播算法，它如何工作？

反向传播算法是用于拟合神经网络模型的梯度下降算法。（如@Dikran所述）让我解释一下。

形式上：在下面公式[1]中使用此桩末的梯度计算（即梯度下降的定义），可以将反向传播算法作为使用梯度下降的一种特殊情况。

神经网络模型 正式地，我们用一个简单的单层模型来修复思想：

$$f(x)=g(A^1(s(A^2(x))))$$ $g:\mathbb{R} \rightarrow \mathbb{R}$$s:\mathbb{R}^M\rightarrow \mathbb{R}^M$$m=1\dots,M$$s(x)[m]=\sigma(x[m])$$A^1:\mathbb{R}^M\rightarrow \mathbb{R}$$A^2\mathbb{R}^p\rightarrow \mathbb{R}^M$$\sigma:\mathbb{R}\rightarrow \mathbb{R}$

$(x_1,\dots,x_n)$$\mathbb{R}^p$$(y_1,\dots,y_n)$$\mathbb{R}$

$$\mathcal{R}_n(A^1,A^2)=\sum_{i=1}^n (y_i-f(x_i))^2\;\;\;\;\;\;\; [1]$$ $A^1$$A^2$

$\mathcal{R}$

$$\mathbf{a}_{l+1}=\mathbf{a}_l-\gamma_l \nabla \mathcal{R}(\mathbf{a}_l),\ l \ge 0.$$ $(\gamma_l)_l$$\mathcal{R}$$\mathbf{a}_l=(A^1_{l},A^2_{l})$

$\mathcal{R}$$\nabla_1 \mathcal{R}$$\mathcal{R}$$A^1$$\nabla_2\mathcal{R}$$\mathcal{R}$$A^2$$z_i=A^1(s(A^2(x_i)))$

$$\nabla_1 \mathcal{R}[1:M] =-2\times \sum_{i=1}^n z_i g'(z_i) (y_i-f(x_i))$$ $m=1,\dots,M$ $$\nabla_2 \mathcal{R}[1:p,m] =-2\times \sum_{i=1}^n x_i g'(z_i) z_i[m]\sigma'(A^2(x_i)[m]) (y_i-f(x_i))$$

$x[a:b]$$x$$a$$b$

反向传播是一种计算误差函数相对于权重的导数的方法，因此可以通过梯度下降优化方法来训练模型-基本上，这只是“链式规则”的应用。其实没有什么比这更多的了，因此，如果您对微积分感到满意​​，那基本上就是看待它的最佳方法。

如果您对微积分不满意，则更好的方法是说我们知道输出单元的工作状况，因为我们有一个期望的输出可用来与实际输出进行比较。但是我们没有隐藏单元的期望输出，那么我们该怎么办？反向传播规则基本上是一种将输出单元错误归咎于隐藏单元的方法。隐藏单元对特定输出单元的影响越大，该错误就应归咎于它。然后，与隐藏单元相关的总责备表示需要更改输入到隐藏层的权重。控制归咎于多少责任的两件事是连接隐藏层权重和输出层权重（显然）和隐藏单元的输出（如果是喊而不是窃窃私语，则可能会产生更大的影响）。剩下的只是数学上的细微之处，这些直觉将其转变为训练准则的派生。

我也建议主教书以适当的答案！; o）

这是一种用于训练前馈多层神经网络（多层感知器）的算法。网上有几个不错的Java小程序，它们说明了正在发生的事情，例如：http : //neuron.eng.wayne.edu/bpFunctionApprox/bpFunctionApprox.html。另外，Bishop的关于NN的书是与NN相关的标准桌面参考。