在强化学习中如何处理无效动作？

我想创建一个可以玩五行/五子棋的AI。正如我在标题中提到的那样，我想为此使用强化学习。

我将策略渐变方法（即REINFORCE）与基线一起使用。对于价值和政策函数的近似，我使用了神经网络。它具有卷积和完全连接的层。除输出外，所有层都是共享的。该策略的输出层具有$8 \times 8=64$（单板的大小）输出单元，并在其上具有softmax。因此它是随机的。但是，如果网络产生无效移动的可能性很高，该怎么办？无效的举动是当代理要检查其中有一个“ X”或“ O”的正方形时。我认为它可能会停留在该游戏状态中。

您能为这个问题推荐任何解决方案吗？

我的猜测是使用演员批评方法。对于无效的举动，我们应该给予负奖励，并将转牌转移给对手。

只是忽略无效的举动。

为了进行探索，您可能不只是以最高的概率执行移动，而是根据输出的概率随机选择移动。如果您仅惩罚非法举动，它们仍然会保留一定的可能性（但是很小），因此会不时地执行（但是很少执行）。因此，您将始终保留偶尔会进行非法举动的代理人。

对我来说，将所有非法举动的概率设置为零并在选择举动之前对输出向量进行重新归一化是更有意义的。

通常，在使用线性函数逼近的策略梯度方法中，softmax方法使用以下公式来计算选择动作$a$的概率。这里，权重是$\theta$，特征$\phi$是当前状态$s$和一组动作$A$一个动作的函数。

为了消除非法举动，可以将一系列行动限制为仅合法的行动，因此$Legal(A)$。

在伪代码中，公式可能如下所示：

action_probs = Agent.getActionProbs(state)
legal_actions = filterLegalActions(state, action_probs)
best_legal_action = softmax(legal_actions)

无论使用线性函数还是非线性函数逼近（您的神经网络），其想法都是在计算softmax时仅使用合法移动。这种方法意味着座席只会给出有效的举动，如果您以后想要更改游戏，这是很好的，并且动作受限选择之间的价值差异会更容易被座席区分。随着可能采取的行动数量减少，它也会更快。

恕我直言，无效举动的想法本身就是无效的。想象一下在坐标处放置一个“ X” (9, 9)。您可以将其视为无效举动，并给予负面奖励。荒诞？当然！

但是实际上，您的无效举动只是表示形式的遗物（其本身简单明了）。最好的处理方法是将它们完全排除在任何计算之外。

这在国际象棋中更加明显：

• 在位置表示中，您可能会考虑move a1-a8，只有在有Rook或Queen的情况下a1（并且其他一些条件成立），才属于游戏。

• 在另一种表示形式中，您可以考虑move Qb2。同样，这可能属于游戏，也可能不属于游戏。当当前玩家没有女王时，则肯定没有女王。

由于无效举动与表示方式有关，而不与游戏有关，因此完全不应考虑它们。

我最近在Minesweeper遇到了类似的问题。

我解决问题的方法是完全忽略非法/无效举动。

1. 使用Q网络预测您所有动作（有效和无效）的Q值
2. 通过将所有无效移动设置为零/负数的Q值来预处理Q值（取决于您的情况）
3. 使用您选择的策略从精确的Q值中选择一个动作（即贪婪或Boltzmann）
4. 执行选定的操作并恢复您的DQN逻辑

希望这可以帮助。