递归神经网络（LSTM，GRU）的结构

10

我试图了解RNN的体系结构。我发现本教程非常有帮助：http : //colah.github.io/posts/2015-08-Understanding-LSTMs/

特别是这张图片：

这如何适应前馈网络？该图像只是每一层中的另一个节点吗？

neural-networks lstm

— 亚当12344
source

还是每个神经元都这样？

— Adam12344

8

$h_t$ $t$ $x_t$ $h_{t-1}$

$h_t$

— 费利佩夫
source

h_{t}

$h_t$

c_{t}

$c_t$

x_{t}

$x_t$

6

在图像中，A是具有单个隐藏神经元的单个隐藏层。从左到右是时间轴，在底部每次都收到一个输入。在顶部，可以通过添加层来进一步扩展网络。

如果您要及时展开该网络（如您的图片所示（从左到右，时间轴是展开的）），那么您将获得一个前馈网络，该网络具有T（时间步长）隐藏层，每个层都包含一个中间A块中绘制的单节点（神经元）。

希望这能回答您的问题。

— 舍尔德
source

3

我想在一个相对复杂的上下文中解释这个简单的图：seq2seq模型的解码器中的注意力机制。

$h_0$ $h_{k-1}$ $x_i$ 。我用这个来说明您的问题是因为时间步的所有状态都保存为注意力机制，而不是仅仅为了获得最后一个而丢弃。它只是一种神经，被视为一层（可以将多层堆叠在一起，例如在某些seq2seq模型中形成双向编码器，以提取更高层中的更多抽象信息）。

然后将句子（L个单词，每个单词表示为形状为embedding_dimention * 1的向量）编码为L个张量的列表（每个形状为num_hidden / num_units * 1）。传递到解码器的状态只是最后一个向量，因为该句子嵌入了列表中每个项目的相同形状。

图片来源：注意机制

— 张乐纳
source