我有以下CNN：

1. 我从5x5大小的输入图片开始
2. 然后，我使用2x2内核和stride = 1进行卷积，生成大小为4x4的特征图。
3. 然后，我将2x2 max-pooling应用于stride = 2，这会将要素图缩小为2x2。
4. 然后我应用逻辑乙状结肠。
5. 然后是一层完全连接的带有2个神经元的层。
6. 并有输出层。

为了简单起见，假设我已经完成了前向通过并计算出δH1= 0.25和 δH2= -0.15

因此，在完成完全向前传递和部分完成向后传递之后，我的网络如下所示：

然后，我为非线性层（逻辑Sigmoid）计算增量：

$$\begin{align} &\delta_{11}=(0.25 * 0.61 + -0.15 * 0.02) * 0.58 * (1 - 0.58) = 0.0364182\\ &\delta_{12}=(0.25 * 0.82 + -0.15 * -0.50) * 0.57 * (1 - 0.57) = 0.068628\\ &\delta_{21}=(0.25 * 0.96 + -0.15 * 0.23) * 0.65 * (1 - 0.65) = 0.04675125\\ &\delta_{22}=(0.25 * -1.00 + -0.15 * 0.17) * 0.55 * (1 - 0.55) = -0.06818625\\ \end{align}$$

然后，我将增量传播到4x4层，并将所有通过最大池滤除的值设置为0，渐变图如下所示：

如何从那里更新内核权重？如果我的网络在5x5之前有另一个卷积层，那么我应该使用什么值来更新它的内核权重？总体而言，我的计算正确吗？

卷积采用权重分配原则，这将使数学显着复杂化，但让我们尝试克服杂草。我从这个消息来源汲取了大部分的解释。

---

前传

如您所见，卷积层的前向通过可以表示为

$x_{i, j}^l = \sum_m \sum_n w_{m,n}^l o_{i+m, j+n}^{l-1} + b_{i, j}^l$

$k_1$$k_2$$k_1=k_2=2$$x_{0,0} = 0.25$$m$$n$

反向传播

假设您使用的均方误差（MSE）定义为

$E = \frac{1}{2}\sum_p (t_p - y_p)^2$

我们要确定

$\frac{\partial E}{\partial w^l_{m', n'}}$$m'$$n'$$w^1_{0,0} = -0.13$$H$$K$

$(H-k_1+1)$$(W-k_2+1)$

$4$$4$$w^1_{0,0} = -0.13$$x^1_{0,0} = 0.25$

$\frac{\partial E}{\partial w^l_{m', n'}} = \sum_{i=0}^{H-k_1} \sum_{j=0}^{W-k_2} \frac{\partial E}{\partial x^l_{i, j}} \frac{\partial x^l_{i, j}}{\partial w^l_{m', n'}}$

这会遍历整个输出空间，确定输出正在产生的误差，然后确定相对于该输出的内核权重的贡献因子。

为了简单起见并跟踪向后传播的误差，让我们从输出空间增量中得出误差的贡献，

$\frac{\partial E}{\partial x^l_{i, j}} = \delta^l_{i,j}$

权重的贡献

卷积定义为

$x_{i, j}^l = \sum_m \sum_n w_{m,n}^l o_{i+m, j+n}^{l-1} + b_{i, j}^l$

从而，

$\frac{\partial x^l_{i, j}}{\partial w^l_{m', n'}} = \frac{\partial}{\partial w^l_{m', n'}} (\sum_m \sum_n w_{m,n}^l o_{i+m, j+n}^{l-1} + b_{i, j}^l)$

$m=m'$$n=n'$

$\frac{\partial x^l_{i, j}}{\partial w^l_{m', n'}} = o^{l-1}_{i+m', j+n'}$

然后回到我们的错误术语

$\frac{\partial E}{\partial w^l_{m', n'}} = \sum_{i=0}^{H-k_1} \sum_{j=0}^{W-k_2} \delta_{i,j}^l o^{l-1}_{i+m', j+n'}$

随机梯度下降

$w^{(t+1)} = w^{(t)} - \eta \frac{\partial E}{\partial w^l_{m', n'}}$

让我们计算一些

import numpy as np
from scipy import signal
o = np.array([(0.51, 0.9, 0.88, 0.84, 0.05), 
              (0.4, 0.62, 0.22, 0.59, 0.1), 
              (0.11, 0.2, 0.74, 0.33, 0.14), 
              (0.47, 0.01, 0.85, 0.7, 0.09),
              (0.76, 0.19, 0.72, 0.17, 0.57)])
d = np.array([(0, 0, 0.0686, 0), 
              (0, 0.0364, 0, 0), 
              (0, 0.0467, 0, 0), 
              (0, 0, 0, -0.0681)])

gradient = signal.convolve2d(np.rot90(np.rot90(d)), o, 'valid')

数组（[[0.044606，0.094061]，[0.011262，0.068288]]）

$\frac{\partial E}{\partial w}$

---

如果推导中有错误，请告诉我。

---

更新：更正的代码