为什么在RNN中通过时间反向传播？

在递归神经网络中，通常会向前传播几个时间步骤，“展开”网络，然后在输入序列中向后传播。

为什么不只在序列中的每个步骤之后更新权重？（等效于使用1的截断长度，因此没有展开的空间），这完全消除了消失的梯度问题，大大简化了算法，可能会减少陷入局部极小值的机会，并且最重要的是看起来工作正常。我以这种方式训练了一个模型来生成文本，结果似乎与从BPTT训练后的模型中看到的结果相当。我对此仅感到困惑，因为我所见过的每个有关RNN的教程都说要使用BPTT，几乎就像是正确学习所必需的那样，事实并非如此。

更新：我添加了一个答案

编辑：比较这两种方法时我犯了一个大错误，必须更改答案。事实证明，我这样做的方式，只是在当前时间步长上进行传播，实际上开始学习得更快。快速更新非常迅速地学习了最基本的模式。但是，在更大的数据集和更长的培训时间上，BPTT实际上确实是最重要的。我仅在几个时期内测试了一个小样本，并假设谁开始赢得比赛将是赢家。但这确实使我找到了一个有趣的发现。如果您仅在单个时间步上开始进行反向传播训练，然后更改为BPTT并慢慢增加传播的距离，则可以更快地收敛。

RNN是一个深度神经网络（DNN），其中每一层都可以接受新的输入，但具有相同的参数。在这样的网络上，BPT是反向传播的奇特词，它本身也是梯度下降的奇特词。

说，RNN输出ÿ吨中的每个步骤和 ë [R [R ö ř 吨 = （ý 吨- Ÿ吨）2$\hat{y}_t$

$$\begin{equation} error_t=(y_t-\hat{y}_t)^2 \end{equation}$$

为了学习权重，我们需要函数梯度以回答以下问题：“参数变化对损失函数有多大影响？” 并按以下给定的方向移动参数：

$$\begin{equation} \nabla error_t=-2(y_t-\hat{y}_t)\nabla \hat{y}_t \end{equation}$$

也就是说，我们有一个DNN，可以在其中获得有关每个层的预测效果如何的反馈。由于参数的变化将改变DNN中的每一层（时间步长），并且每一层都为即将到来的输出做出贡献，因此需要对此加以考虑。

采取一个简单的单神经元一层网络来半透明地看到这一点：

$$\begin{align*} \hat{y}_{t+1} =& f(a+bx_t+c\hat{y}_t)\\ \frac{\partial}{\partial a}\hat{y}_{t+1} = & f'(a+bx_t+c\hat{y}_t)\cdot c\cdot \frac{\partial}{\partial a}\hat{y}_{t} \\ \frac{\partial}{\partial b}\hat{y}_{t+1} = & f'(a+bx_t+c\hat{y}_t)\cdot (x_t+c\cdot\frac{\partial}{\partial b}\hat{y}_{t})\\ \frac{\partial}{\partial c}\hat{y}_{t+1} = & f'(a+bx_t+c\hat{y}_t)\cdot (\hat{y}_t+c\cdot\frac{\partial}{\partial c}\hat{y}_{t})\\ \iff\\ \nabla \hat{y}_{t+1} =& f'(a+bx_t+c\hat{y}_t)\cdot \left(\begin{bmatrix}0\\x_t\\\hat{y}_t \end{bmatrix} + c \mathbin{\color{red}{\nabla \hat{y}_{t}}} \right) \end{align*}$$

与学习率一个训练步骤则是： [ 〜一〜b 〜c ^ ] ← [ 一个b Ç ] + δ （ý 吨- Ÿ吨）∇ ÿ$\delta$

$$\begin{equation} \begin{bmatrix}\tilde{a}\\\tilde{b}\\\tilde{c}\end{bmatrix} \leftarrow \begin{bmatrix}a\\b\\c\end{bmatrix} + \delta (y_{t}-\hat{y}_{t})\nabla \hat{y}_t \end{equation}$$

$\nabla \hat{y}_{t+1}$$\nabla \hat{y}_{t}$$t$而不进一步递归。我认为你的损失大概是

$$\begin{equation} error=\sum_t(y_t-\hat{y}_t)^2 \end{equation}$$

也许每个步骤都会为总体提供足够的方向？这可以解释您的结果，但是我真的很想了解更多有关您的方法/损失函数的信息！也将有兴趣与两个时间步窗式ANN进行比较。

edit4：阅读评论后，看来您的体系结构不是RNN。

$h_t$

您的模型：无状态-在每个步骤中都将重建隐藏状态 edit2：向DNN添加更多引用edit3：修复了gradstep和一些表示法edit5：修复了您的回答/澄清后对模型的解释。

"Unfolding through time" is simply an application of the chain rule,

$$\frac{dF(g(x), h(x), m(x))}{dx} = \frac{\partial F}{\partial g}\frac{dg}{dx} + \frac{\partial F}{\partial h}\frac{dh}{dx} + \frac{\partial F}{\partial m}\frac{dm}{dx}$$

The output of an RNN at time step $t$, $H_t$ is a function of the parameters $\theta$, the input $x_t$ and the previous state, $H_{t-1}$ (note that instead $H_t$ may be transformed again at time step $t$ to obtain the output, that is not important here). Remember the goal of gradient descent: given some error function $L$, let's look at our error for the current example (or examples), and then let's adjust $\theta$ in such a way, that given the same example again, our error would be reduced.

How exactly did $\theta$ contribute to our current error? We took a weighted sum with our current input, $x_t$, so we'll need to backpropagate through the input to find $\nabla_\theta a(x_t, \theta)$, to work out how to adjust $\theta$. But our error was also the result of some contribution from $H_{t-1}$, which was also a function of $\theta$, right? So we need to find out $\nabla_\theta H_{t-1}$, which was a function of $x_{t-1}$, $\theta$ and $H_{t-2}$. But $H_{t-2}$ was also a function a function of $\theta$. And so on.