Q学习和SARSA有什么区别？

尽管我知道SARSA是策略性的，而Q学习是策略性的，但当查看它们的公式时，（对我而言）很难看出这两种算法之间的区别。

根据《强化学习：入门》一书（萨顿和巴托撰写）。在SARSA算法中，在给定策略的情况下，可以按以下方式更新对应的动作值函数Q（在时间步t处于状态s和动作a），即Q（s _t，a _t）。

Q（s _t，a _t）= Q（s _t，a _t）+α*（r _t +γ* Q（s _{t + 1}，a _{t + 1}）-Q（s _t，a _t））

另一方面，Q学习算法的更新步骤如下

Q（s _t，a _t）= Q（s _t，a _t）+α*（r _t +γ* max _a Q（s _{t + 1}，a）-Q（s _t，a _t））

也可以写成

Q（s _t，a _t）=（1-α）* Q（s _t，a _t）+α*（r _t +γ* max _a Q（s _{t + 1}，a））

其中γ（伽玛）是折现因子，而r _t是在时间步长t从环境中获得的报酬。

这两种算法之间的区别是否是SARSA仅查找下一个策略值而Q学习查找下一个最大策略值的事实？

TLDR（和我自己的答案）

自从我第一次提出这个问题以来，感谢所有回答这个问题的人。我制作了一个Q-Learning的github存储库，从经验上了解了区别。这一切都取决于您如何选择下一个最佳操作，从算法的角度来看，这取决于您选择实施的方式是平均，最大或最佳操作。

另一个主要区别是，当这种选择正在发生（例如，在线VS离线），以及如何/为什么会影响学习。如果您在2019年阅读此书，并且更喜欢动手，那么玩RL玩具问题可能是理解差异的最佳方法。

最后一个重要说明是，关于下一个状态的最佳/最大动作和奖励，Suton＆Barto以及Wikipedia经常使用混合，混淆或错误的公式表示形式：

r（t + 1）

实际上是

（

希望这可以帮助任何陷入困境的人。

是的，这是唯一的区别。策略上SARSA会根据其遵循的策略来学习操作值，而策略外Q-Learning则相对于贪婪策略来学习操作值。在某些常见条件下，它们都收敛于实值函数，但速率不同。Q-Learning趋向于收敛较慢，但具有在更改政策时继续学习的能力。此外，与线性逼近结合使用时，不能保证Q-Learning收敛。

实际上，在ε贪婪策略下，Q-Learning计算Q（s，a）和最大动作值之间的差，而SARSA计算Q（s，a）和平均动作的加权和之间的差值和最大值：

Q学习：Q（s _{t + 1}，a _{t + 1}）= max _a Q（s _{t + 1}，a）

SARSA：Q（s _{t + 1}，a _{t + 1}）=ε·平均_a Q（s _{t + 1}，a）+（1-ε）·max _a Q（s _{t + 1}，a）

当我学习这一部分时，我也感到很困惑，因此我将R.Sutton和AGBarto的两个伪代码放在一起，希望能使两者之间的区别更加清晰。

蓝色框突出显示了两种算法实际上不同的部分。数字突出显示了更详细的区别，稍后将进行解释。

TL; NR：

|             | SARSA | Q-learning |
|:-----------:|:-----:|:----------:|
| Choosing A' |   π   |      π     |
| Updating Q  |   π   |      μ     |

其中π是ε贪心策略（例如，探索时ε> 0），μ是贪婪策略（例如ε== 0，无探索）。

1. 假设Q学习使用不同的策略来选择下一个动作A'并更新Q。换句话说，它试图在遵循另一个策略μ时评估π，因此它是一种非策略算法。

2. 相反，SARSA始终使用π，因此它是一种基于策略的算法。

更详细的解释：

1. 两者之间最重要的区别是每次操作后如何更新Q。SARSA完全按照ε贪婪策略使用Q'，因为从中得出A'。相反，Q学习在下一步所有可能的动作中使用最大Q'。这使其看起来像遵循ε= 0的贪婪策略，即在此部分中不进行探索。

2. 但是，当实际采取行动时，Q学习仍然使用从ε贪婪策略采取的行动。这就是为什么“选择A ...”位于重复循环内的原因。

3. 遵循Q学习中的循环逻辑，A'仍来自ε贪心策略。

数学上的区别是什么？

正如大多数其他答案中已经描述的那样，在数学上，两次更新之间的区别确实在于，当更新状态-动作对（S _t，A _t）的Q值时：

• Sarsa使用行为策略（即代理用于在环境中生成经验的策略，通常是epsilon- greedy）来选择其他操作A _{t + 1}，然后使用Q（S _{t + 1}，A _{t +1}）（以γ折价）作为更新目标计算中的预期未来回报。
• Q学习不会使用行为策略来选择其他操作A _{t + 1}。相反，它将更新规则中的预期未来回报估计为max _A Q（S _{t + 1}，A）。这里使用的max运算符可以看作是“遵循”完全贪婪的策略。但是代理实际上并没有遵循贪婪的政策; 它只是在更新规则中说：“假设我将从现在开始遵循贪婪的政策，那么我的预期未来收益将是多少？”。

这直观上是什么意思？

如其他答案中所述，上述区别在于，使用技术术语意味着，Sarsa是一种策略上的学习算法，而Q学习是一种策略外的学习算法。

在极限（给了无穷的时间来积累经验和学习）的情况下，并且在一些其他假设下，这意味着Sarsa和Q学习会收敛到不同的解决方案/“最佳”策略：

• 在我们一直遵循用于产生体验的相同策略的假设下，Sarsa将收敛到最佳解决方案。这通常是一种具有（而不是“愚蠢”）随机性元素的策略，例如epsilon -greedy，因为否则我们将无法保证将完全收敛于任何事物。
• Q-Learning将收敛到一个最佳解决方案，该假设是在获得经验和培训后，我们将转向贪婪策略。

什么时候使用哪种算法？

在我们关心代理在学习/产生经验的过程中的表现的情况下，像Sarsa这样的算法通常是更可取的。例如，考虑代理是一个昂贵的机器人，如果它掉下悬崖会摔坏。我们不希望它在学习过程中掉落得太频繁，因为它很昂贵。因此，我们关心其在学习过程中的表现。但是，我们也知道有时需要它随机执行（例如epsilon-greedy）。这意味着机器人沿着悬崖行走非常危险，因为它可能会决定随机动作（概率为ε）并跌落。因此，我们希望它能够快速了解​​到靠近悬崖的危险；即使贪婪的策略能够顺其自然地走下去，我们也知道我们遵循随机的epsilon贪婪策略，并且考虑到有时候我们会变得愚蠢，因此我们关心优化性能。在这种情况下，最好使用Sarsa。

如果我们在训练过程中不关心智能体的性能，但是我们只希望它学习一种最优的贪婪策略（最终将要切换到该策略），则最好使用Q学习这样的算法。例如，考虑我们玩一些练习游戏（有时我们不介意由于随机性而输掉比赛），然后玩一场重要的比赛（在此我们将停止学习并从epsilon-greedy切换到贪婪策略） ）。这是Q学习会更好的地方。

Q学习的公式中存在索引错误。萨顿和巴托的第148页。

Q（st，at）<-Q（st，at）+ alpha * [r（t + 1）+伽玛* max Q（st + 1，a）-Q（st，at）]

错字在max的参数中：

索引是st + 1和a，而在您的问题中，它们分别是st + 1和at + 1（这些对于SARSA是正确的）。

希望这个对你有帮助。

在Q学习中

这是您的：Q学习：Q（St，At）= Q（St，At）+ a [R（t + 1）+折扣*最大Q（St + 1，At）-Q（St，At）]

应该更改为Q学习：Q（St，At）= Q（St，At）+ a [R（t + 1）+折扣*最大Q（St + 1，a）-Q（St，At）]

如您所说，您必须找到更新eq的最大Q值。通过更改a，您将获得一个新的Q（St，At）。仔细的一个，给你最大的Q值是不是下一个动作。在此阶段，您仅知道下一个状态（St + 1），并且在进行下一轮之前，您想通过St + 1（St <-St + 1）更新St。

对于每个循环；

• 使用Q值从St中选择At

• 取At并观察Rt + 1和St + 1

• 使用eq更新Q值。

• 圣<-圣+1

直到St是终点站

SARSA和Qlearning之间的唯一区别是SARSA根据当前策略执行下一个操作，而qlearning采取具有下一个状态的最大效用的操作