强化学习中的贝尔曼方程式的推导

32

我在“ 强化学习中的简介 ”中看到了以下等式，但并没有完全遵循下面以蓝色突出显示的步骤。此步骤如何精确得出？

expected-value reinforcement-learning

7

这是每个想知道其背后整洁，结构化数学的人的答案（即，如果您属于知道随机变量是什么的一群人，并且您必须显示或假设随机变量具有密度，那么这就是您的答案;-)）：

首先，我们需要使马尔可夫决策过程仅具有有限数量的奖励，即我们需要存在一个有限的密度集，每个密度都属于变量，即所有和地图，使得（即，在MDP后面的自动机中，可能有无限多个状态，但是只有有限多个奖励分布附加到状态之间可能无限的过渡上） $L^1$ $E$ $L^1$ $\int_{\mathbb{R}}x \cdot e(x) dx < \infty$ $e \in E$ $F : A \times S \to E$

p (r t | a t, s t) = F (a t, s t) (r t)

$p(r_t|a_t, s_t) = F(a_t, s_t)(r_t)$

L1 $L^1$

定理1：令（即可积实数随机变量），令为另一个随机变量，使得具有相同的密度，则 $X \in L^1(\Omega)$ $Y$ $X,Y$

E [X | Y = y] = \int R x p (x | y) d x

$E[X|Y=y] = \int_\mathbb{R} x p(x|y) dx$

证明：Stefan Hansen 在这里进行了证明。

定理2：令，令为进一步的随机变量，使得具有共同的密度，则其中是范围。 $X \in L^1(\Omega)$ $Y,Z$ $X,Y,Z$

E [X | Y = y] = \int Z p (z | y) E [X | Y = y, Z = z] d z

$E[X|Y=y] = \int_{\mathcal{Z}} p(z|y) E[X|Y=y,Z=z] dz$

Z $\mathcal{Z}$

Z $Z$

证明：

E [X | Y = y] = \int R x p (x | y) d x (by Thm. 1) = \int R x p ( x , y ) p ( y ) d x = \int R x \int Z p ( x , y , z ) d z p ( y ) d x = \int Z \int R x p ( x , y , z ) p ( y ) d x d z = \int Z \int R x p (x | y, z) p (z | y) d x d z = \int Z p (z | y) \int R x p (x | y, z) d x d z = \int Z p (z | y) E [X | Y = y, Z = z] d z (by Thm. 1)

$\begin{align*} E[X|Y=y] &= \int_{\mathbb{R}} x p(x|y) dx \\ &~~~~\text{(by Thm. 1)}\\ &= \int_{\mathbb{R}} x \frac{p(x,y)}{p(y)} dx \\ &= \int_{\mathbb{R}} x \frac{\int_{\mathcal{Z}} p(x,y,z) dz}{p(y)} dx \\ &= \int_{\mathcal{Z}} \int_{\mathbb{R}} x \frac{ p(x,y,z) }{p(y)} dx dz \\ &= \int_{\mathcal{Z}} \int_{\mathbb{R}} x p(x|y,z)p(z|y) dx dz \\ &= \int_{\mathcal{Z}} p(z|y) \int_{\mathbb{R}} x p(x|y,z) dx dz \\ &= \int_{\mathcal{Z}} p(z|y) E[X|Y=y,Z=z] dz \\ &~~~~\text{(by Thm. 1)} \end{align*}$

放并放然后可以证明（使用MDP仅具有有限的奖励的事实），收敛，并且由于函数仍然处于（即积）一个也可以显示（通过使用单调收敛的定理的上为条件期望[的因式分解]所述定义方程通常的组合，然后控制收敛），该现在显示 $G_t = \sum_{k=0}^\infty \gamma^k R_{t+k}$ $G_t^{(K)} = \sum_{k=0}^K \gamma^k R_{t+k}$ $L^1$ $G_t^{(K)}$ $\sum_{k=0}^\infty \gamma^k |R_{t+k}|$ $L^1(\Omega)$

lim K \to \infty E [G (K) t | S t = s t] = E [G t | S t = s t]

$\lim_{K \to \infty} E[G_t^{(K)} | S_t=s_t] = E[G_t | S_t=s_t]$

E [G (K) t | S t = s t] = E [R t | S t = s t] + γ \int S p (s t + 1 | s t) E [G (K - 1) t + 1 | S t + 1 = s t + 1] d s t + 1

$E[G_t^{(K)} | S_t=s_t] = E[R_{t} | S_t=s_t] + \gamma \int_S p(s_{t+1}|s_t) E[G_{t+1}^{(K-1)} | S_{t+1}=s_{t+1}] ds_{t+1}$

使用。2以上然后Thm。1在，然后使用直接边际化战争，表明对于所有。现在我们需要将极限应用于等式的两边。为了将极限拉到状态空间的整数中，我们需要做一些附加的假设：

G(K)t=Rt+γG(K−1)t+1 $G_t^{(K)} = R_t + \gamma G_{t+1}^{(K-1)}$

E[G(K−1)t+1|St+1=s′,St=st] $E[G_{t+1}^{(K-1)}|S_{t+1}=s', S_t=s_t]$

p(rq|st+1,st)=p(rq|st+1) $p(r_q|s_{t+1}, s_t) = p(r_q|s_{t+1})$

q≥t+1 $q \geq t+1$

K→∞ $K \to \infty$

S $S$

状态空间是有限的（然后并且总和是有限的），或者所有的奖励都是正的（然后我们使用单调收敛），或者所有的奖励都是负的（然后我们在减号前面放一个减号）等式并再次使用单调收敛）或所有奖励都是有界的（然后我们使用主导收敛）。然后（通过将应用于上述偏/有限Bellman方程的两边），我们得到 $\int_S = \sum_S$ $\lim_{K \to \infty}$

E [G t | S t = s t] = E [G (K) t | S t = s t] = E [R t | S t = s t] + γ \int S p (s t + 1 | s t) E [G t + 1 | S t + 1 = s t + 1] d s t + 1

$E[G_t | S_t=s_t] = E[G_t^{(K)} | S_t=s_t] = E[R_{t} | S_t=s_t] + \gamma \int_S p(s_{t+1}|s_t) E[G_{t+1} | S_{t+1}=s_{t+1}] ds_{t+1}$

然后剩下的就是通常的密度控制。

备注：即使在非常简单的任务中，状态空间也可以是无限的！一个例子就是“平衡极点”任务。状态本质上是极角（的值，无穷无穷！）！ $[0, 2\pi)$

备注：人们可能会评论“面团，如果您直接使用的密度并显示 '...但是...我的问题是： $G_t$ $p(g_{t+1}|s_{t+1}, s_t) = p(g_{t+1}|s_{t+1})$

您怎么甚至知道具有密度？ $G_{t+1}$
您怎么甚至知道与具有相同的密度？ $G_{t+1}$ $S_{t+1}, S_t$
您如何推断？这不仅是马尔可夫属性：马尔可夫属性仅告诉您一些关于边际分布的信息，但是这些并不一定确定整个边际分布，例如，参见多元高斯！ $p(g_{t+1}|s_{t+1}, s_t) = p(g_{t+1}|s_{t+1})$

— 法比安·沃纳（Fabian Werner）
source

10

让时间之后的折价奖励总和为： $t$
$G_t = R_{t+1}+\gamma R_{t+2}+\gamma^2 R_{t+3}+...$

从状态开始的效用值在时间等于从状态开始执行策略的折价奖励的期望总和。根据根据线性定律通过的法 $s$ $t$
$R$ $\pi$ $s$
$U_\pi(S_t=s) = E_\pi[G_t|S_t = s]$
$\\ = E_\pi[(R_{t+1}+\gamma R_{t+2}+\gamma^2 R_{t+3}+...)|S_t = s]$ $G_t$
$= E_\pi[(R_{t+1}+\gamma (R_{t+2}+\gamma R_{t+3}+...))|S_t = s]$
$= E_\pi[(R_{t+1}+\gamma (G_{t+1}))|S_t = s]$
$= E_\pi[R_{t+1}|S_t = s]+\gamma E_\pi[ G_{t+1}|S_t = s]$
$= E_\pi[R_{t+1}|S_t = s]+\gamma E_\pi[E_\pi(G_{t+1}|S_{t+1} = s')|S_t = s]$ 总期望根据定义根据线性定律
$= E_\pi[R_{t+1}|S_t = s]+\gamma E_\pi[U_\pi(S_{t+1}= s')|S_t = s]$ $U_\pi$
$= E_\pi[R_{t+1} + \gamma U_\pi(S_{t+1}= s')|S_t = s]$

假定该过程满足马尔可夫性质：从状态开始并采取了动作，最终状态结束的
概率，并从状态开始采取行动，最终以状态结束的奖励， $Pr$ $s'$ $s$ $a$
$Pr(s'|s,a) = Pr(S_{t+1} = s', S_t=s,A_t = a)$
$R$ $s'$ $s$ $a$
$R(s,a,s') = [R_{t+1}|S_t = s, A_t = a, S_{t+1}= s']$

因此，我们可以将上面的效用方程为
$= \sum_a \pi(a|s) \sum_{s'} Pr(s'|s,a)[R(s,a,s')+ \gamma U_\pi(S_{t+1}=s')]$

哪里; ：在处于状态随机策略时采取操作可能性。对于确定性策略， $\pi(a|s)$ $a$ $s$ $\sum_a \pi(a|s)= 1$

— 恩塔哥巴
source

仅需注意以下几点：即使在随机策略中，的总和也等于1，但是在确定性策略中，只有一个操作会接收全部权重（即，其余接收0权重，因此从等式中删除该项在您使用总期望定律的那一行中，条件的顺序也被颠倒了

π $\pi$

π(a|s)=1 $\pi(a|s) = 1$

— Gilad Peleg

1

我很确定这个答案是错误的：让我们遵循方程式，直到涉及总期望定律的直线。然后左侧不依赖于，而右手边做 ......也就是说，如果方程是正确的，那么对于这些是他们是正确的？在此阶段，您必须已经对进行了某种积分。原因可能是您误解了（随机变量）与其因式分解（确定性函数！）的区别...

s′ $s'$

E[X|Y] $E[X|Y]$

E[X|Y=y] $E[X|Y=y]$

— Fabian Werner

@FabianWerner我同意这是不正确的。揭石的答案是正确的答案。

— teucer

@teucer这个答案可以解决，因为只是缺少一些“对称”，即但问题仍然与答案相同：为什么吗？这不仅是Markov属性，因为是一个非常复杂的RV：它是否收敛？如果是这样，在哪里？共同密度多少？我们仅对有限和（复杂卷积）知道此表达式，但对于无限情况呢？

E[A|C=c]=∫range(B)p(b|c)E[A|B=b,C=c]dPB(b) $E[A|C=c] = \int_{\text{range}(B)} p(b|c) E[A|B=b, C=c] dP_B(b)$

E[Gt+1|St+1=st+1,St=st]=E[Gt+1|St+1=st+1] $E[G_{t+1}|S_{t+1}=s_{t+1}, S_t=s_t] = E[G_{t+1}|S_{t+1}=s_{t+1}]$

Gt+1 $G_{t+1}$

p(gt+1,st+1,st) $p(g_{t+1}, s_{t+1}, s_t)$

— Fabian Werner

@FabianWerner不确定我是否可以回答所有问题。下面有一些指针。对于的收敛，假设它是折价奖励的总和，则可以合理地假设该序列收敛（折现因子，并且收敛到什么地方并不重要）。我不必担心密度（只要我们有随机变量，就可以总是定义一个联合密度），这只有在定义得很好且在这种情况下才是重要。

Gt+1 $G_{t+1}$

<1 $<1$

— teucer

8

这是我的证明。它基于对条件分布的操纵，因此更易于遵循。希望这对您有所帮助。

v π (s) = E [G t | S t = s] = E [R t + 1 + γ G t + 1 | S t = s] = \sum s' \sum r \sum g t + 1 \sum a p (s', r, g t + 1, a | s) (r + γ g t + 1) = \sum a p (a | s) \sum s' \sum r \sum g t + 1 p (s', r, g t + 1 | a, s) (r + γ g t + 1) = \sum a p (a | s) \sum s' \sum r \sum g t + 1 p (s', r | a, s) p (g t + 1 | s', r, a, s) (r + γ g t + 1) Note that p (g t + 1 | s', r, a, s) = p (g t + 1 | s') by assumption of MDP = \sum a p (a | s) \sum s' \sum r p (s', r | a, s) \sum g t + 1 p (g t + 1 | s') (r + γ g t + 1) = \sum a p (a | s) \sum s' \sum r p (s', r | a, s) (r + γ \sum g t + 1 p (g t + 1 | s') g t + 1) = \sum a p (a | s) \sum s' \sum r p (s', r | a, s) (r + γ v π (s'))

$\begin{align} v_{\pi}(s)&=E{\left[G_t|S_t=s\right]} \nonumber \\ &=E{\left[R_{t+1}+\gamma G_{t+1}|S_t=s\right]} \nonumber \\ &= \sum_{s'}\sum_{r}\sum_{g_{t+1}}\sum_{a}p(s',r,g_{t+1}, a|s)(r+\gamma g_{t+1}) \nonumber \\ &= \sum_{a}p(a|s)\sum_{s'}\sum_{r}\sum_{g_{t+1}}p(s',r,g_{t+1} |a, s)(r+\gamma g_{t+1}) \nonumber \\ &= \sum_{a}p(a|s)\sum_{s'}\sum_{r}\sum_{g_{t+1}}p(s',r|a, s)p(g_{t+1}|s', r, a, s)(r+\gamma g_{t+1}) \nonumber \\ &\text{Note that $p(g_{t+1}|s', r, a, s)=p(g_{t+1}|s')$ by assumption of MDP} \nonumber \\ &= \sum_{a}p(a|s)\sum_{s'}\sum_{r}p(s',r|a, s)\sum_{g_{t+1}}p(g_{t+1}|s')(r+\gamma g_{t+1}) \nonumber \\ &= \sum_{a}p(a|s)\sum_{s'}\sum_{r}p(s',r|a, s)(r+\gamma\sum_{g_{t+1}}p(g_{t+1}|s')g_{t+1}) \nonumber \\ &=\sum_{a}p(a|s)\sum_{s'}\sum_{r}p(s',r|a, s)\left(r+\gamma v_{\pi}(s')\right) \label{eq2} \end{align}$ 这是著名的贝尔曼方程。

— 杰士
source

您介意再多解释一下“请注意...”这一注释吗？为什么这些随机变量以及状态和动作变量甚至具有相同的密度？如果是这样，为什么您知道您正在使用的此属性？我可以看到有限的总和是正确的，但是如果随机变量是一个极限... ???

Gt+1 $G_{t+1}$

— Fabian Werner

致Fabian：首先，让我们回顾一下。。请注意，仅直接取决于和因为捕获了MDP的所有转换信息（更确切地说，在给定和情况下，独立于时间之前的所有状态，动作和奖励。同样，仅取决于和。结果，独立于，

Gt+1 $G_{t+1}$

Gt+1=Rt+2+Rt+3+⋯ $G_{t+1}=R_{t+2}+R_{t+3}+\cdots$

Rt+2 $R_{t+2}$

St+1 $S_{t+1}$

At+1 $A_{t+1}$

p(s′,r|s,a) $p(s', r|s, a)$

Rt+2 $R_{t+2}$

t+1 $t+1$

St+1 $S_{t+1}$

At+1 $A_{t+1}$

Rt+3 $R_{t+3}$

St+2 $S_{t+2}$

At+2 $A_{t+2}$

Gt+1 $G_{t+1}$

St $S_t$

At $A_t$ ，并且给定了，这说明了这一行。

Rt $R_t$

St+1 $S_{t+1}$

— 杰石

抱歉，这只是“激励”它，实际上并不能解释任何事情。例如：的密度是多少？为什么确定？为什么这些随机变量甚至具有相同的密度？您知道总和会转换为密度的卷积，所以...应该在密度中具有无限数量的积分？绝对没有密度的候选人！

Gt+1 $G_{t+1}$

p(gt+1|st+1,st)=p(gt+1|st+1) $p(g_{t+1}|s_{t+1}, s_t) = p(g_{t+1}|s_{t+1})$

Gt+1 $G_{t+1}$

— Fabian Werner

致Fabian：我不明白您的问题。1.您想要边际分布的确切形式吗？我不知道，在此证明中我们也不需要它。2.为什么？因为如前所述，和在给定是独立的。3.“共同密度”是什么意思？你是说联合分配？您想知道为什么这些随机变量具有联合分布吗？该宇宙中的所有随机变量都可以具有联合分布。如果这是您的问题，我建议您找一本概率论书并阅读。

p(gt+1) $p(g_{t+1})$

p(gt+1|st+1,st)=p(gt+1|st+1) $p(g_{t+1}|s_{t+1}, s_t)=p(g_{t+1}|s_{t+1})$

gt+1 $g_{t+1}$

st $s_t$

st+1 $s_{t+1}$

— 杰石

让我们将讨论移至聊天室：chat.stackexchange.com/rooms/88952/bellman-equation

— Fabian Werner

2

以下方法是什么？

v π (s) = E π [G t ∣ S t = s] = E π [R t + 1 + γ G t + 1 ∣ S t = s] = \sum a π (a ∣ s) \sum s' \sum r p (s', r ∣ s, a) \cdot E π [R t + 1 + γ G t + 1 ∣ S t = s, A t + 1 = a, S t + 1 = s', R t + 1 = r] = \sum a π (a ∣ s) \sum s', r p (s', r ∣ s, a) [r + γ v π (s')] .

$\begin{align} v_\pi(s) & = \mathbb{E}_\pi\left[G_t \mid S_t = s\right] \\ & = \mathbb{E}_\pi\left[R_{t+1} + \gamma G_{t+1} \mid S_t = s\right] \\ & = \sum_a \pi(a \mid s) \sum_{s'} \sum_r p(s', r \mid s, a) \cdot \,\\ & \qquad \mathbb{E}_\pi\left[R_{t+1} + \gamma G_{t+1} \mid S_{t} = s, A_{t+1} = a, S_{t+1} = s', R_{t+1} = r\right] \\ & = \sum_a \pi(a \mid s) \sum_{s', r} p(s', r \mid s, a) \left[r + \gamma v_\pi(s')\right]. \end{align}$

引入和是为了从检索，和。毕竟，可能的动作和可能的下一个状态可以是。在这些额外条件下，期望的线性几乎直接导致结果。 $a$ $s'$ $r$ $s$

不过，我不确定我的论点在数学上有多严格。我愿意改进。

— 乔尔德先生
source

由于MDP属性，最后一行才起作用。

— teucer

2

这只是对已接受答案的评论/补充。

我对适用总期望定律的说法感到困惑。我认为总期望法则的主要形式在这里没有帮助。实际上，这里需要它的变体。

如果是随机变量，并假设存在所有期望，则以下标识成立： $X,Y,Z$

$E[X|Y] = E[E[X|Y,Z]|Y]$

在这种情况下，，和。然后 $X= G_{t+1}$ $Y = S_t$ $Z = S_{t+1}$

$E[G_{t+1}|S_t=s] = E[E[G_{t+1}|S_t=s, S_{t+1}=s'|S_t=s]$ ，根据马尔可夫属性 $E[E[G_{t+1}|S_{t+1}=s']|S_t=s]$

从那里，人们可以从答案中得到其余的证明。

— 梅迪（Mehdi Golari）
source

1

欢迎来到简历！请仅将答案用于回答问题。拥有足够的声誉（50）后，您可以添加评论。

— 弗朗斯·罗登堡

谢谢。是的，由于我没有足够的声誉而无法发表评论，因此我认为将解释添加到答案中可能会很有用。但是我会记住这一点。

— Mehdi Golari

我投票赞成，但仍然，这个答案缺少细节：即使满足了这种疯狂的关系，也没有人保证对于条件期望的因式分解也是如此！即在与Ntabgoba的答案的情况下：左手边不依赖于，而右手边做。这个方程式是不正确的！

E[X|Y] $E[X|Y]$

s′ $s'$

— Fabian Werner

1

$\mathbb{E}_\pi(\cdot)$ 通常表示期望，假设代理遵循策略。在这种情况下，似乎不确定，即返回状态为时代理采取行动的概率。 $\pi$ $\pi(a|s)$ $a$ $s$

小写字母似乎正在替换随机变量。第二个期望值代替了无穷大的总和，以反映我们对所有未来继续遵循的假设。是下一个时间步的预期立即奖励；第二个期望-变为是下一个状态的期望值，该权重由状态从中获得时的概率加权。 $r$ $R_{t+1}$ $\pi$ $t$ $\sum_{s',r} r \cdot p(s′,r|s,a)$ $v_\pi$ $s'$ $a$ $s$

因此，期望考虑了政策概率以及过渡和奖励函数，在此一起表示为。 $p(s', r|s,a)$

— 肖恩·复活节
source

谢谢。是的，您提到的是正确的（这是代理在状态采取行动的概率）。

π(a|s) $\pi(a|s)$

a $a$

s $s$

— 阿梅里奥·巴斯克斯·雷纳

我不遵循的是将什么术语准确地扩展到第二步中的什么术语（我对概率因式分解和边缘化非常熟悉，而对RL则不太了解）。是正在扩大术语？也就是说，上一步中的确切内容等于下一步中的确切内容？

Rt $R_t$

— 阿梅里奥·巴斯克斯·雷纳

1

看起来是小写字母，它替换了随机变量，第二个期望值替换了无穷和（可能反映了对于所有将来，我们继续遵循的假设）。是下一个时间步的预期立即奖励，第二个期望值（变为是下一个状态的期望值，并由概率加权从取到状态概率。

r $r$

Rt+1 $R_{t+1}$

π $\pi$

t $t$

Σp(s′,r|s,a)r $\Sigma p(s',r|s,a)r$

vπ $v_\pi$

s′ $s'$

a $a$

s $s$

— 肖恩·复活节

1

即使已经给出了正确的答案并且已经过去了一段时间，但我认为以下逐步指南可能会有用：
通过期望值的线性，我们可以拆分分为和。我将仅在第一部分中概述步骤，因为第二部分之后是与总期望法则结合的相同步骤。 $E[R_{t+1} + \gamma E[G_{t+1}|S_{t}=s]]$ $E[R_{t+1}|S_t=s]$ $\gamma E[G_{t+1}|S_{t}=s]$

E [R t + 1 | S t = s] = \sum r r P [R t + 1 = r | S t = s] = \sum a \sum r r P [R t + 1 = r, A t = a | S t = s] (III) = \sum a \sum r r P [R t + 1 = r | A t = a, S t = s] P [A t = a | S t = s] = \sum s' \sum a \sum r r P [S t + 1 = s', R t + 1 = r | A t = a, S t = s] P [A t = a | S t = s] = \sum a π (a | s) \sum s', r p (s', r | s, a) r

$\begin{align} E[R_{t+1}|S_t=s]&=\sum_r{ r P[R_{t+1}=r|S_t =s]} \\ &= \sum_a{ \sum_r{ r P[R_{t+1}=r, A_t=a|S_t=s]}} \qquad \text{(III)} \\ &=\sum_a{ \sum_r{ r P[R_{t+1}=r| A_t=a, S_t=s] P[A_t=a|S_t=s]}} \\ &= \sum_{s^{'}}{ \sum_a{ \sum_r{ r P[S_{t+1}=s^{'}, R_{t+1}=r| A_t=a, S_t=s] P[A_t=a|S_t=s] }}} \\ &=\sum_a{ \pi(a|s) \sum_{s^{'},r}{p(s^{'},r|s,a)} } r \end{align}$

而（III）遵循以下形式：

P [A, B | C] = P [ A , B , C ] P [ C ] = P [ A , B , C ] P [ C ] P [ B , C ] P [ B , C ] = P [ A , B , C ] P [ B , C ] P [ B , C ] P [ C ] = P [A | B, C] P [B | C]

$\begin{align} P[A,B|C]&=\frac{P[A,B,C]}{P[C]} \\ &= \frac{P[A,B,C]}{P[C]} \frac{P[B,C]}{P[B,C]}\\ &= \frac{P[A,B,C]}{P[B,C]} \frac{P[B,C]}{P[C]}\\ &= P[A|B,C] P[B|C] \end{align}$

— 广告商Justitia
source

1

我知道已经有一个可以接受的答案，但是我想提供一个可能更具体的推论。我还要提及的是，尽管@Jie Shi技巧在一定程度上是有道理的，但它使我感到非常不舒服：(。我们需要考虑时间维度以使这项工作有效。重要的是要注意，期望实际上是取整个无限的视野，而不是仅仅在和。让我们假设从开始（实际上，无论开始时间如何，推导都是相同的；我不想用另一个下标来污染方程式） $s$ $s'$ $t=0$ $k$

v π (s 0) G 0 E π [G 0 | s 0] = E π [G 0 | s 0] = \sum t = 0 T - 1 γ t R t + 1 = \sum a 0 π (a 0 | s 0) \sum a 1, . . . a T \sum s 1, . . . s T \sum r 1, . . . r T (\prod t = 0 T - 1 π (a t + 1 | s t + 1) p (s t + 1, r t + 1 | s t, a t) \times (\sum t = 0 T - 1 γ t r t + 1)) = \sum a 0 π (a 0 | s 0) \sum a 1, . . . a T \sum s 1, . . . s T \sum r 1, . . . r T (\prod t = 0 T - 1 π (a t + 1 | s t + 1) p (s t + 1, r t + 1 | s t, a t) \times (r 1 + γ \sum t = 0 T - 2 γ t r t + 2))

$\begin{align} v_{\pi}(s_0)&=\mathbb{E}_{\pi}[G_{0}|s_0]\\ G_0&=\sum_{t=0}^{T-1}\gamma^tR_{t+1}\\ \mathbb{E}_{\pi}[G_{0}|s_0]&=\sum_{a_0}\pi(a_0|s_0)\sum_{a_{1},...a_{T}}\sum_{s_{1},...s_{T}}\sum_{r_{1},...r_{T}}\bigg(\prod_{t=0}^{T-1}\pi(a_{t+1}|s_{t+1})p(s_{t+1},r_{t+1}|s_t,a_t)\\ &\times\Big(\sum_{t=0}^{T-1}\gamma^tr_{t+1}\Big)\bigg)\\ &=\sum_{a_0}\pi(a_0|s_0)\sum_{a_{1},...a_{T}}\sum_{s_{1},...s_{T}}\sum_{r_{1},...r_{T}}\bigg(\prod_{t=0}^{T-1}\pi(a_{t+1}|s_{t+1})p(s_{t+1},r_{t+1}|s_t,a_t)\\ &\times\Big(r_1+\gamma\sum_{t=0}^{T-2}\gamma^tr_{t+2}\Big)\bigg) \end{align}$ 注意，上述公式成立即使，实际上直到宇宙的尽头都是正确的（也许有点夸张了：）） $T\rightarrow\infty$
在这个阶段，我相信我们大多数人都应该已经牢记上面的内容如何导致最终表达方式-我们只需要地应用求和积规则（）。让我们将期望的线性定律应用于内的每个术语

∑a∑b∑cabc≡∑aa∑bb∑cc $\sum_a\sum_b\sum_cabc\equiv\sum_aa\sum_bb\sum_cc$

(r1+γ∑T−2t=0γtrt+2) $\Big(r_{1}+\gamma\sum_{t=0}^{T-2}\gamma^tr_{t+2}\Big)$

第1部分

\sum a 0 π (a 0 | s 0) \sum a 1, . . . a T \sum s 1, . . . s T \sum r 1, . . . r T (\prod t = 0 T - 1 π (a t + 1 | s t + 1) p (s t + 1, r t + 1 | s t, a t) \times r 1)

$\sum_{a_0}\pi(a_0|s_0)\sum_{a_{1},...a_{T}}\sum_{s_{1},...s_{T}}\sum_{r_{1},...r_{T}}\bigg(\prod_{t=0}^{T-1}\pi(a_{t+1}|s_{t+1})p(s_{t+1},r_{t+1}|s_t,a_t)\times r_1\bigg)$

好吧，这是微不足道的，除了与相关的那些概率，所有概率都消失了（实际上总和为1）。因此，我们有 $r_1$

\sum a 0 π (a 0 | s 0) \sum s 1, r 1 p (s 1, r 1 | s 0, a 0) \times r 1

$\sum_{a_0}\pi(a_0|s_0)\sum_{s_1,r_1}p(s_1,r_1|s_0,a_0)\times r_1$

第2部分
猜猜是什么，这部分更为琐碎-它仅涉及重新排列求和顺序。

\sum a 0 π (a 0 | s 0) \sum a 1, . . . a T \sum s 1, . . . s T \sum r 1, . . . r T (\prod t = 0 T - 1 π (a t + 1 | s t + 1) p (s t + 1, r t + 1 | s t, a t)) = \sum a 0 π (a 0 | s 0) \sum s 1, r 1 p (s 1, r 1 | s 0, a 0) (\sum a 1 π (a 1 | s 1) \sum a 2, . . . a T \sum s 2, . . . s T \sum r 2, . . . r T (\prod t = 0 T - 2 π (a t + 2 | s t + 2) p (s t + 2, r t + 2 | s t + 1, a t + 1)))

$\sum_{a_0}\pi(a_0|s_0)\sum_{a_{1},...a_{T}}\sum_{s_{1},...s_{T}}\sum_{r_{1},...r_{T}}\bigg(\prod_{t=0}^{T-1}\pi(a_{t+1}|s_{t+1})p(s_{t+1},r_{t+1}|s_t,a_t)\bigg)\\=\sum_{a_0}\pi(a_0|s_0)\sum_{s_1,r_1}p(s_1,r_1|s_0,a_0)\bigg(\sum_{a_1}\pi(a_1|s_1)\sum_{a_{2},...a_{T}}\sum_{s_{2},...s_{T}}\sum_{r_{2},...r_{T}}\bigg(\prod_{t=0}^{T-2}\pi(a_{t+2}|s_{t+2})p(s_{t+2},r_{t+2}|s_{t+1},a_{t+1})\bigg)\bigg)$

还有尤里卡！我们在大括号旁边恢复了递归模式。让我们将其与，我们得到，第2部分变为 $\gamma\sum_{t=0}^{T-2}\gamma^tr_{t+2}$ $v_{\pi}(s_1)=\mathbb{E}_{\pi}[G_1|s_1]$

γ E π [G 1 | s 1] = \sum a 1 π (a 1 | s 1) \sum a 2, . . . a T \sum s 2, . . . s T \sum r 2, . . . r T (\prod t = 0 T - 2 π (a t + 2 | s t + 2) p (s t + 2, r t + 2 | s t + 1, a t + 1)) (γ \sum t = 0 T - 2 γ t r t + 2)

$\gamma\mathbb{E}_{\pi}[G_1|s_1]=\sum_{a_1}\pi(a_1|s_1)\sum_{a_{2},...a_{T}}\sum_{s_{2},...s_{T}}\sum_{r_{2},...r_{T}}\bigg(\prod_{t=0}^{T-2}\pi(a_{t+2}|s_{t+2})p(s_{t+2},r_{t+2}|s_{t+1},a_{t+1})\bigg)\bigg(\gamma\sum_{t=0}^{T-2}\gamma^tr_{t+2}\bigg)$

\sum a 0 π (a 0 | s 0) \sum s 1, r 1 p (s 1, r 1 | s 0, a 0) \times γ v π (s 1)

$\sum_{a_0}\pi(a_0|s_0)\sum_{s_1,r_1}p(s_1,r_1|s_0,a_0)\times \gamma v_{\pi}(s_1)$

第1部分+第2部分

v π (s 0) = \sum a 0 π (a 0 | s 0) \sum s 1, r 1 p (s 1, r 1 | s 0, a 0) \times (r 1 + γ v π (s 1))

$v_{\pi}(s_0) =\sum_{a_0}\pi(a_0|s_0)\sum_{s_1,r_1}p(s_1,r_1|s_0,a_0)\times \Big(r_1+\gamma v_{\pi}(s_1)\Big)$

现在，如果我们可以考虑时间维度并恢复通用的递归公式

v π (s) = \sum a π (a | s) \sum s', r p (s', r | s, a) \times (r + γ v π (s'))

$v_{\pi}(s) =\sum_a \pi(a|s)\sum_{s',r} p(s',r|s,a)\times \Big(r+\gamma v_{\pi}(s')\Big)$

最后的表白，当我看到上面提到的人们对总期望法则的使用时，我笑了。所以我在这里

— 于s
source

嗯...符号' '应该是什么意思？没有a ...

∑a0,...,a∞ $\sum_{a_0, ..., a_{\infty}}$

a∞ $a_\infty$

— Fabian Werner

另一个问题：为什么第一个方程式成立？我知道但在我们的情况下，将是随机变量的无限序列因此我们需要计算该变量的密度（由我们知道密度的无限数量的变量组成）以及其他变量（即状态）。 ..你到底如何？即什么？

E[f(X)|Y=y]=∫Xf(x)p(x|y)dx $E[f(X)|Y=y] = \int_{\mathcal{X}} f(x) p(x|y) dx$

X $X$

(R0,R1,R2,........) $(R_0, R_1, R_2, ........)$

p(r0,r1,....) $p(r_0, r_1, ....)$

— Fabian Werner

@FabianWerner。深呼吸，首先使您的大脑平静：）。让我回答你的第一个问题。。如果您回想起价值函数的定义，它实际上是折价的未来奖励的总和。如果我们考虑未来奖励的无限远景，那么我们需要相加无数次。奖励是从状态采取行动的结果，因为存在无限数量的奖励，所以应该有无限数量的行动，因此。

∑a0,...,a∞≡∑a0∑a1,...,∑a∞ $\sum_{a_0,...,a_{\infty}} \equiv \sum_{a_0}\sum_{a_1},...,\sum_{a_{\infty}}$

a∞ $a_{\infty}$

— Karlsson Yu

1

让我们假设我同意存在一些怪异的（我仍然怀疑，通常，数学第一学期的学生倾向于将限制与实际上涉及无限元素的某些构造混淆）...我仍然有一个简单的问题：如何定义？我知道这个表达式用有限的总和应该意味着什么……但是其中有无限多个？您对这个表达有什么了解？

a∞ $a_\infty$

∑a1...∑a∞ $\sum_{a_1} ... \sum_{a_\infty}$

— Fabian Werner

1

互联网。您能否将我引至定义您的表情的页面或任何地方？如果不是，那么您实际上定义了一些新内容，因此没有必要进行讨论，因为它只是您所构成的符号（但是其背后没有任何意义）...您同意我们只能讨论该符号如果我们都知道这意味着什么，对吗？所以，我不知道这意味着什么，请解释一下……

— Fabian Werner

1

这个问题已经有很多答案，但是大多数都只包含很少的单词来描述操作中正在发生的事情。我想我将使用更多的单词来回答。开始，

G t ≐ \sum k = t + 1 T γ k - t - 1 R k

$G_{t} \doteq \sum_{k=t+1}^{T} \gamma^{k-t-1} R_{k}$

在萨顿（Sutton）和巴托（Barto）的方程式3.11中定义，具有恒定的折现因子，我们可以使或，但不能同时具有两者。由于奖励是随机变量，因此也是随机变量的线性组合，因此也是。 $0 \leq \gamma \leq 1$ $T = \infty$ $\gamma = 1$ $R_{k}$ $G_{t}$

v π (s) ≐ E π [G t ∣ S t = s] = E π [R t + 1 + γ G t + 1 ∣ S t = s] = E π [R t + 1 | S t = s] + γ E π [G t + 1 | S t = s]

$\begin{align} v_\pi(s) & \doteq \mathbb{E}_\pi\left[G_t \mid S_t = s\right] \\ & = \mathbb{E}_\pi\left[R_{t+1} + \gamma G_{t+1} \mid S_t = s\right] \\ & = \mathbb{E}_{\pi}\left[ R_{t+1} | S_t = s \right] + \gamma \mathbb{E}_{\pi}\left[ G_{t+1} | S_t = s \right] \end{align}$

最后一行来自期望值的线性。是代理在时间步采取行动后获得的奖励。为简单起见，我假设它可以采用有限数量的值。 $R_{t+1}$ $t$ $r \in \mathcal{R}$

在第一学期工作。换句话说，假设我们知道当前状态为，我需要计算的期望值。公式是 $R_{t+1}$ $s$

E π [R t + 1 | S t = s] = \sum r \in R r p (r | s) .

$\begin{align} \mathbb{E}_{\pi}\left[ R_{t+1} | S_t = s \right] = \sum_{r \in \mathcal{R}} r p(r|s). \end{align}$

换句话说，奖励出现的概率取决于状态 ; 不同的州可能有不同的奖励。此分布是分布的边际分布，该分布还分别包含变量和，在时间采取的行动以及在该行为之后的时间的状态： $r$ $s$ $p(r|s)$ $a$ $s'$ $t$ $t+1$

p (r | s) = \sum s' \in S \sum a \in A p (s', a, r | s) = \sum s' \in S \sum a \in A π (a | s) p (s', r | a, s) .

$\begin{align} p(r|s) = \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(s',a,r|s) = \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} \pi(a|s) p(s',r | a,s). \end{align}$

按照本书的约定，在我使用的地方。如果最后一个等式令人困惑，则忽略总和，抑制（该概率现在看起来像一个联合概率），使用乘法定律，最后以所有新术语重新引入的条件。现在可以很容易地看到第一个术语是 $\pi(a|s) \doteq p(a|s)$ $s$ $s$

E π [R t + 1 | S t = s] = \sum r \in R \sum s' \in S \sum a \in A r π (a | s) p (s', r | a, s),

$\begin{align} \mathbb{E}_{\pi}\left[ R_{t+1} | S_t = s \right] = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} r \pi(a|s) p(s',r | a,s), \end{align}$

按要求。关于第二项，我假设是一个随机变量，它具有有限数量的值。就像第一个词： $G_{t+1}$ $g \in \Gamma$

E π [G t + 1 | S t = s] = \sum g \in Γ g p (g | s) . (*)

$\begin{align} \mathbb{E}_{\pi}\left[ G_{t+1} | S_t = s \right] = \sum_{g \in \Gamma} g p(g|s). \qquad\qquad\qquad\qquad (*) \end{align}$

再次，我通过写“取消边缘化”概率分布（再次是乘法定律）

p (g | s) = \sum r \in R \sum s' \in S \sum a \in A p (s', r, a, g | s) = \sum r \in R \sum s' \in S \sum a \in A p (g | s', r, a, s) p (s', r, a | s) = \sum r \in R \sum s' \in S \sum a \in A p (g | s', r, a, s) p (s', r | a, s) π (a | s) = \sum r \in R \sum s' \in S \sum a \in A p (g | s', r, a, s) p (s', r | a, s) π (a | s) = \sum r \in R \sum s' \in S \sum a \in A p (g | s') p (s', r | a, s) π (a | s) (* *)

$\begin{align} p(g|s) & = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(s',r,a,g|s) = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(g | s', r, a, s) p(s', r, a | s) \\ & = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(g | s', r, a, s) p(s', r | a, s) \pi(a | s) \\ & = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(g | s', r, a, s) p(s', r | a, s) \pi(a | s) \\ & = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(g | s') p(s', r | a, s) \pi(a | s) \qquad\qquad\qquad\qquad (**) \end{align}$

此处的最后一行来自Markovian属性。请记住，是代理商在状态之后获得的所有未来（折后）奖励的总和。马尔可夫特性是，该过程对于先前的状态，动作和奖励没有记忆。未来的行动（以及他们获得的报酬）仅取决于采取行动的状态，因此假设。好了，现在证明中的第二项 $G_{t+1}$ $s'$ $p(g | s', r, a, s) = p(g | s')$

γ E π [G t + 1 | S t = s] = γ \sum g \in Γ \sum r \in R \sum s' \in S \sum a \in A g p (g | s') p (s', r | a, s) π (a | s) = γ \sum r \in R \sum s' \in S \sum a \in A E π [G t + 1 | S t + 1 = s'] p (s', r | a, s) π (a | s) = γ \sum r \in R \sum s' \in S \sum a \in A v π (s') p (s', r | a, s) π (a | s)

$\begin{align} \gamma \mathbb{E}_{\pi}\left[ G_{t+1} | S_t = s \right] & = \gamma \sum_{g \in \Gamma} \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} g p(g | s') p(s', r | a, s) \pi(a | s) \\ & = \gamma \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} \mathbb{E}_{\pi}\left[ G_{t+1} | S_{t+1} = s' \right] p(s', r | a, s) \pi(a | s) \\ & = \gamma \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} v_{\pi}(s') p(s', r | a, s) \pi(a | s) \end{align}$

根据需要，再次。结合两个术语即可完成证明

v π (s) ≐ E π [G t ∣ S t = s] = \sum a \in A π (a | s) \sum r \in R \sum s' \in S p (s', r | a, s) [r + γ v π (s')] .

$\begin{align} v_\pi(s) & \doteq \mathbb{E}_\pi\left[G_t \mid S_t = s\right] \\ & = \sum_{a \in \mathcal{A}} \pi(a | s) \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} p(s', r | a, s) \left[ r + \gamma v_{\pi}(s') \right]. \end{align}$

更新

我想谈一谈第二任期的推论。在以标记的方程式中，我使用项，然后在以标记的方程式中，我通过争辩马尔可夫性质来断言不依赖于。因此，您可能会说，如果是这种情况，则。但是这是错误的。我可以把因为该声明左侧的概率说，这是概率上调理，，和 $(*)$ $p(g|s)$ $(**)$ $g$ $s$ $p(g|s) = p(g)$ $p(g | s', r, a, s) \rightarrow p(g | s')$ $g$ $s'$ $a$ $r$ $s$ 。因为我们知道或假设状态，所以其他条件都不重要，因为马尔可夫性质。如果你不知道或者不承担状态，那么未来的回报（的意思）将取决于你开始在该状态下，因为这将决定（基于政策）的状态你开始计算当。 $s'$ $s'$ $g$ $s'$ $g$

如果该参数不能说服您，请尝试计算是什么： $p(g)$

$\begin{align} p(g) & = \sum_{s' \in \mathcal{S}} p(g, s') = \sum_{s' \in \mathcal{S}} p(g | s') p(s') \\ & = \sum_{s' \in \mathcal{S}} p(g | s') \sum_{s,a,r} p(s', a, r, s) \\ & = \sum_{s' \in \mathcal{S}} p(g | s') \sum_{s,a,r} p(s', r | a, s) p(a, s) \\ & = \sum_{s \in \mathcal{S}} p(s) \sum_{s' \in \mathcal{S}} p(g | s') \sum_{a,r} p(s', r | a, s) \pi(a | s) \\ & \doteq \sum_{s \in \mathcal{S}} p(s) p(g|s) = \sum_{s \in \mathcal{S}} p(g,s) = p(g). \end{align}$

从最后一行可以看出，是不正确的。如果您不知道或假设状态，则的期望值取决于您从哪个状态开始（即的身份）。 $p(g|s) = p(g)$ $g$ $s$ $s'$

— 财务价格
source