Questions tagged «deep-rl»

2
为什么在使用函数逼近时Q学习无法收敛?
只要满足以下条件(关于学习率的条件)(罗宾斯-蒙罗条件),表格式Q学习算法就可以确保找到最佳Q问Q函数Q∗问∗Q^* ∑tαt(s,a)=∞∑ŤαŤ(s,一个)=∞\sum_{t} \alpha_t(s, a) = \infty ∑tα2t(s,a)&lt;∞∑ŤαŤ2(s,一个)&lt;∞\sum_{t} \alpha_t^2(s, a) < \infty 其中αt(s,a)αŤ(s,一个)\alpha_t(s, a)意味着更新时使用的学习率Q问Q与状态相关联的值sss和行动a一个a在时间的时间步长tŤt,其中0≤αt(s,a)&lt;10≤αŤ(s,一个)&lt;1个0 \leq \alpha_t(s, a) < 1被假定为是真实的,对于所有状态sss和动作a一个a。 显然,由于0≤αt(s,a)&lt;10≤αŤ(s,一个)&lt;1个0 \leq \alpha_t(s, a) < 1,为了使两个条件是真实的,所有的状态行动对必须无限频繁地访问:这也就是书中指出强化学习:介绍,除了应该广为人知的事实,这是使用ϵϵ\epsilon在培训过程中 ϵ-贪婪策略(或类似策略)。 可以在论文《 Q学习的收敛性:简单证明》(Francisco S. Melo 撰写)中找到完整的证明,表明Q问Q学习能够找到最佳Q问Q函数。他使用诸如收缩映射之类的概念来定义最佳Q函数(另请参阅强化学习中的Bellman运算符是什么?),这是该收缩运算符的一个固定点。在给出一些假设的情况下,他还使用关于收敛到0的随机过程的定理(n。2)。(如果您不是数学家,则证明可能不容易理解。)Q问Q000 如果使用神经网络来表示Q问Q函数,那么Q问Q学习的收敛性保证是否仍然成立?使用函数逼近时,为什么Q学习会收敛(或不收敛)?是否有正式的证据证明这种不收敛Q问Q使用函数逼近 Q学习? 我正在寻找不同类型的答案,这些答案仅给出了Q不收敛背后的直觉。Q问Q提供使用函数逼近时使用学习到提供正式证明(或提供正式证明的论文链接)。
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.