什么是“体验重播”及其好处？

我一直在阅读Google的DeepMind Atari 论文，并且试图理解“体验重播”的概念。许多其他强化学习论文（尤其是AlphaGo论文）中都有经验重播，所以我想了解它的工作原理。以下是一些摘录。

首先，我们使用一种称为经验重播的生物学启发机制来对数据进行随机化，从而消除观察序列中的相关性并平滑数据分布的变化。

然后，本文阐述如下：

虽然存在其他用于在强化学习环境中训练神经网络的稳定方法（例如，神经拟合Q迭代），但这些方法涉及从头进行数百次迭代的网络重复训练。因此，与我们的算法不同，这些方法效率低下，无法在大型神经网络中成功使用。我们使用图1所示的深度卷积神经网络对近似值函数进行参数化，其中是迭代 Q网络的参数（即权重）。为了执行体验重播，我们在每个时间步长存储座席的体验。$Q(s, a; \theta_i)$$\theta_i$$i$$e_t = (s_t, a_t, r_t, s_{t+1})$$t$在数据集中。在学习期间，我们对经验样本（或小批）应用Q学习更新，这些样本是从存储的样本池中随机抽取的。迭代处的Q学习更新使用以下损失函数：$D_t = \{e_1, \dots, e_t \}$$(s, a, r, s') \sim U(D)$$i$

$$L_i(\theta_i) = \mathbb{E}_{(s, a, r, s') \sim U(D)} \left[ \left(r + \gamma \max_{a'} Q(s', a'; \theta_i^-) - Q(s, a; \theta_i)\right)^2 \right]$$

用外行的话来说，什么是体验重播？它有什么好处？

引用文本的关键部分是：

为了执行体验重播，我们存储座席的体验$e_t = (s_t,a_t,r_t,s_{t+1})$

这意味着系统不会在模拟或实际体验期间对状态/动作对进行Q学习，而是将为[状态，动作，奖励，next_state]发现的数据存储在大型表中。请注意，这不会存储关联的值-这是原始数据，可在以后输入到操作值计算中。

然后，根据从该表中随机抽取的样本，从逻辑上将学习阶段与获得经验分开。您仍然希望交织行动和学习这两个过程，因为改进政策将导致不同的行为，应探索更接近最佳行为的行为，并且您希望从中学习。但是，您可以按照自己的喜好进行拆分-例如，迈出一步，从三个随机的先前步骤中学习，等等。使用体验重播时的Q学习目标与在线版本使用相同的目标，因此没有新的公式。给出的损耗公式也是您无需经验重播即可用于DQN的公式。区别仅在于您向其中喂入了s，a，r，s'，a'。

在DQN中，DeepMind团队还维护了两个网络，并切换了哪个网络正在学习以及哪个网络将当前的动作值估计作为“引导程序”。当使用非线性函数逼近器时，这有助于算法的稳定性。这就是栏在的含义-它表示权重的备用冻结版本。${\theta}^{\overline{\space}}_i$

体验重放的优点：

• 通过多次学习，可以更有效地利用以前的经验。当获得现实经验的成本很高时，这是关键，您可以充分利用它。Q学习更新是渐进的，并且不会很快收敛，因此使用相同数据进行多次传递是有益的，尤其是在给定相同状态，动作对的情况下，即刻结果（奖励，下一个状态）的差异较小时，尤其如此。

• 训练函数逼近器时更好的收敛行为。部分原因是因为数据更像大多数监督学习收敛证明中假定的iid数据。

经验重播的缺点：

• 很难使用诸如Q（）的多步学习算法，该算法可以通过在偏差（由于自举）和方差（由于长期结果中的延迟和随机性）之间取得平衡而进行调整，以提供更好的学习曲线）。多步骤DQN与体验重播DQN是“ 彩虹：深度强化学习中的改进相结合 ”一文中探讨的扩展之一。$\lambda$

David Silver在本视频讲座的部分内容中简要概述了 DQN中使用的方法（大约01:17:00，但值得一读。）如果有时间，我建议您观看整个系列，这是一门有关强化学习的研究生课程。