为什么总是至少有一项政策优于或等于所有其他政策？

强化学习：简介。理查德·萨顿（Richard S.Sutton）和安德鲁·G·巴托（Andrew G.Barto）（c）2012年第二版，第67-68页。

解决强化学习任务，粗略地讲，是找到一种从长远来看会获得很多回报的政策。对于有限的MDP，我们可以通过以下方式精确定义最佳策略。值函数定义了对策略的部分排序。策略被定义为优于或等于政策如果它的预期收益大于或等于的，所有状态。换句话说，对于且仅对于所有，仅当。总有至少一项策略优于或等于所有其他策略。这是一个最佳策略。 $\pi$ $\pi'$ $\pi'$ $\pi \geq \pi'$ $v_\pi(s) \geq v_{\pi'}(s)$ $s \in \mathcal{S}$

markov-process reinforcement-learning

— 1
source

Puterman在“ Markov决策过程”的第6.2章中出现了非常详细的证明（确实使用了Banach不动点定理）。

— Toghs '18

Answers:

在引用的部分之后，同一段实际上告诉您该策略是什么：它是在每个州中采取最佳措施的策略。在MDP中，我们在一种状态下采取的行动不会影响在其他状态下采取的行动的回报，因此我们可以简单地逐个州地最大化政策。

— 唐·雷巴
source

这个答案不是完全错误吗？您如何说逐个州优化策略会导致优化策略。如果我优化过状态

和它需要我

，然后在优化

引线为最佳值函数

，但存在其中另一策略

未达最佳导致

和最优的值函数

高于

。您如何通过这样的粗略分析将其排除在外？

S_{t}

$S_t$

S_{t + 1}

$S_{t+1}$

S_{t + 1}

$S_{t+1}$

V_{t + 1}

$V_{t+1}$

S_{t}

$S_t$

S_{l}

$S_l$

S_{l}

$S_l$

V_{t + 1}

$V_{t+1}$

— MiloMinderbinder

@MiloMinderbinder如果在最优策略

是选择

，则值

比的值高的

。

S_{t}

$S_t$

S_{t + 1}

$S_{t+1}$

S_{t + 1}

$S_{t+1}$

S_{l}

$S_l$

— 唐·雷巴

我的错。错字纠正：“这个答案不是完全错误吗？您如何说逐个州优化策略会导致最优策略？如果我优化过状态

和它带我到

，然后在优化

引线为最佳值函数

的

，但存在其中另一策略

虽然引线未达最佳到

，因而价值函数

S_{t}

$S_t$

S_{t + 1}

$S_{t+1}$

S_{t + 1}

$S_{t+1}$

V_{t + 2}

$V_{t+2}$

S_{t + 2}

$S_{t+2}$

S_{t}

$S_t$

S_{l + 1}

$S_{l+1}$

S_{t + 1}

$S_{t+1}$ 高于

但价值函数

是根据本政策比政策下更高发现通过优化状态状态。你怎么不接受这个？”

V_{l + 1}

$V_{l+1}$

S_{t + 2}

$S_{t+2}$

— MiloMinderbinder

我认为

的定义将首先阻止这种情况的发生，因为它也应考虑未来的回报。

V

$V$

— Flying_Banana '19

问题是：为什么

存在？不能绕过Banach不动点定理:-)

q_{*}

$q_*$

— Fabian Werner

最优政策的存在并不明显。要了解原因，请注意，值功能在策略空间上仅提供了部分排序。这表示：

π^{'} \geq π ⟺ v_{π^{'}} (s) \geq v_{π} (s), \forall s \in S

$\pi' \geq \pi \iff v_{\pi'}(s) \geq v_{\pi}(s), \forall s \in S$

由于这只是一个偏序，有可能是其中两个政策的情况下，和，没有可比性。换句话说，状态空间的子集和使得： $\pi_1$ $\pi_2$ $S_1$ $S_2$

v_{π^{'}} (s) \geq v_{π} (s), \forall s \in S_{1}

$v_{\pi'}(s) \geq v_{\pi}(s), \forall s \in S_1$

v_{π} (s) \geq v_{π^{'}} (s), \forall s \in S_{2}

$v_{\pi}(s) \geq v_{\pi'}(s),\forall s \in S_2$

在这种情况下，我们不能说一项政策优于另一项。但是，如果我们要处理具有有限值函数的有限MDP，则永远不会发生这种情况。尽管可能存在多个最优策略，但仅存在一个最优值函数。

为了证明这一点，您需要了解Banach不动点定理。有关详细分析，请参阅。

— 卡尔提克（Karthik Thiagarajan）
source

$\newcommand{\mc}{\mathcal} \newcommand{\mb}{\mathbb}$

设置

我们正在考虑以下设置：

离散动作
离散状态
无限奖励
固定政策
无限的视野

\begin{matrix} (1) & π^{*} \in \arg max_{π} V^{π} (s), \forall s \in S \end{matrix}

$\pi^\ast \in \arg \max_\pi V^\pi(s), \forall s \in \mc{S} \tag{1}$

\begin{matrix} (2) & V^{*} = max_{π} V^{π} (s), \forall s \in S \end{matrix}

$V^\ast = \max_\pi V^\pi (s), \forall s \in \mc S \tag{2}$

\begin{matrix} (3) & V^{*} = V^{π^{*}} \end{matrix}

$V^\ast = V^{\pi^\ast} \tag{3}$

问题

如何证明至少存在一个，它同时满足所有（1）？ $\pi^\ast$ $s \in \mc{S}$

证明大纲

构造最优方程以用作最优值函数的临时替代定义，我们将在步骤2中证明它等同于等式（2）。
$\begin{matrix} (4) & V^{*} (s) = max_{a \in A} [R (s, a) + γ \sum_{s^{'} \in S} T (s, a, s^{'}) V^{*} (s^{'})] \end{matrix}$ $V^\ast(s) = \max_{a \in \mc A} [ R(s, a) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) V^\ast(s^\prime)] \tag{4}$
通过等式（4）和等式（2）推导定义最优值函数的等价性。

（注意实际上，我们只需要证明中的必要性方向，因为自从等式（2）构造等式（4）以来，明显性就足够了。）
证明对方程（4）有一个独特的解决方案。
在步骤2中，我们知道在步骤3中获得的解也是方程（2）的解，因此它是最优值函数。
通过最优值函数，我们可以通过在等式（4）中为每个状态选择最大化器动作来恢复最优策略。

详细步骤

1个

由于，所以我们有。并且如果有使得，我们可以通过最大化选择一个更好的政策超过。 $V^\ast(s) = V^{\pi^\ast}(s) = \mb E_a [Q^{\pi^\ast}(s, a)]$ $V^{\pi^\ast}(s) \le \max_{a \in \mc A} Q^{\pi^\ast} (s, a)$ $\tilde{s}$ $V^{\pi^\ast} \neq \max_{a \in \mc A} Q^{\pi^\ast} (s, a)$ $Q^{\ast} (s, a) = Q^{\pi^\ast} (s, a)$ $a$

（=>）

跟随步骤1。

（<=）

即如果满足，则。 $\tilde V$ $\tilde V(s) = \max_{a \in \mc A} [ R(s, a) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) \tilde V(s^\prime)]$ $\tilde V(s) = V^\ast(s) = \max_\pi V^\pi(s), \forall s \in \mc S$

将最佳Bellman运算符定义为因此，我们的目标是证明如果，则。我们通过结合Puterman [1]的两个结果来证明这一点：

\begin{matrix} (5) & T V (s) = max_{a \in A} [R (s, a) + γ \sum_{s^{'} \in S} T (s, a, s^{'}) V (s^{'})] \end{matrix}

$\mc T V(s) = \max_{a \in \mc A} [ R(s, a) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) V(s^\prime)] \tag{5}$

\tilde{V} = T \tilde{V}

$\tilde V = \mc T \tilde V$

\tilde{V} = V^{*}

$\tilde V = V^\ast$

a）如果，则。 $\tilde V \ge \mc T \tilde V$ $\tilde V \ge V^\ast$

b）如果，则。 $\tilde V \le \mc T \tilde V$ $\tilde V \le V^\ast$

证明：

一种）

对于任何，这里是决策规则（在特定时间的动作轮廓），是立即奖励的向量表示从诱导的和是从诱导的转移矩阵。 $\pi = (d_1, d_2, ...)$

\begin{aligned} \tilde{V} & \geq T \tilde{V} = max_{d} [R_{d} + γ P_{d} \tilde{V}] \\ \geq R_{d_{1}} + γ P_{d_{1}} \tilde{V} \end{aligned}

$\begin{align} \tilde V &\ge \mc T \tilde V = \max_{d} [ R_d + \gamma \, P_d \tilde V] \\ &\ge R_{d_1} + \gamma \, P_{d_1} \tilde V \\ \end{align}$

d

$d$

R_{d}

$R_d$

d

$d$

P_{d}

$P_d$

d

$d$

通过归纳，对于任何，其中表示下的步跃迁矩阵。 $n$

\tilde{V} \geq R_{d_{1}} + \sum_{i = 1}^{n - 1} γ^{i} P_{π}^{i} R_{d_{i + 1}} + γ^{n} P_{π}^{n} \tilde{V}

$\tilde V \ge R_{d_1} + \sum_{i=1}^{n-1} \gamma^i P_\pi^i R_{d_{i+1}} + \gamma^n P_\pi^n \tilde V$

P_{π}^{j}

$P_\pi^j$

j

$j$

π

$\pi$

由于我们有了因此我们有了。并且由于这适用于任何，因此得出结论 b）

V^{π} = R_{d_{1}} + \sum_{i = 1}^{\infty} γ^{i} P_{π}^{i} R_{d_{i + 1}}

$V^\pi = R_{d_1} + \sum_{i=1}^{\infty}\gamma^i P_\pi^i R_{d_{i+1}}$

\tilde{V} - V^{π} \geq \underset{\to 0 as n \to \infty}{\underset{⏟}{γ^{n} P_{π}^{n} \tilde{V} - \sum_{i = n}^{\infty} γ^{i} P_{π}^{i} R_{d_{i + 1}}}}

$\tilde V - V^\pi \ge \underbrace{\gamma^n P_\pi^n \tilde V -\sum_{i=n}^{\infty}\gamma^i P_\pi^i R_{d_{i+1}}}_{\rightarrow 0 \ \text{as}\ n\rightarrow \infty}$

\tilde{V} \geq V^{π}

$\tilde V \ge V^\pi$

π

$\pi$

\tilde{V} \geq max_{π} V^{π} = V^{*}

$\tilde V \ge \max_\pi V^\pi = V^\ast$

从步骤1开始。

最佳的Bellman算子是范数的一个收缩，请参见。[2]。 $L_\infty$

证明：对于任何，，其中（*）中使用 $s$

\begin{aligned} | T V_{1} (s) - T V_{2} (s) | & = | max_{a \in A} [R (s, a) + γ \sum_{s^{'} \in S} T (s, a, s^{'}) V_{1} (s^{'})] - max_{a^{'} \in A} [R (s, a^{'}) + γ \sum_{s^{'} \in S} T (s, a^{'}, s^{'}) V (s^{'})] | \\ \overset{(*)}{\leq} | max_{a \in A} [γ \sum_{s^{'} \in S} T (s, a, s^{'}) (V_{1} (s^{'}) - V_{2} (s^{'}))] | \\ \leq γ ‖ V_{1} - V_{2} ‖_{\infty} \end{aligned}

$\begin{align} \left\vert \mc T V_1(s) - \mc TV_2(s) \right\vert &= \left\vert \max_{a \in \mc A} [ R(s, a) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) V_1(s^\prime)] -\max_{a^\prime \in \mc A} [ R(s, a^\prime) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a^\prime, s^\prime) V(s^\prime)]\right\vert \\ &\overset{(*)}{\le} \left\vert \max_{a \in \mc A} [\gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) (V_1(s^\prime) - V_2(s^\prime))] \right\vert \\ &\le \gamma \Vert V_1 - V_2 \Vert_\infty \end{align}$

max_{a} f (a) - max_{a^{'}} g (a^{'}) \leq max_{a} [f (a) - g (a)]

$\max_a f(a) - \max_{a^\prime} g(a^\prime) \le \max_a [f(a) - g(a)]$

因此，根据Banach不动点定理，具有唯一的不动点。 $\mc T$

参考文献

[1] Puterman，Martin L.。“马尔可夫决策过程：离散随机动态规划。” （2016）。

[2] A. Lazaric。http://researchers.lille.inria.fr/~lazaric/Webpage/MVA-RL_Course14_files/slides-lecture-02-handout.pdf

— 爱丽丝
source