折现因子对强化学习的意义

在阅读了Google在Atari游戏上的深刻成就之后，我试图了解q学习和q网络，但是我有点困惑。折扣因素的概念引起了混乱。我所了解的简短摘要。深度卷积神经网络用于估计动作的最佳期望值。网络必须最小化损失函数，其中为其中，是累积得分值，

L_{i} = E_{s, a, r} [(E_{s^{'}} [y | s, a] - Q (s, a; θ_{i}))^{2}]

$L_i=\mathbb{E}_{s,a,r}\left[(\mathbb{E}_{s'}\left[y|s,a\right]-Q(s,a;\theta_i))^2\right]$

E_{s^{'}} [y | s, a]

$\mathbb{E}_{s'}\left[y|s,a\right]$

E [r + γ m a x_{a^{'}} Q (s^{'}, a^{'}; θ_{i}^{-}) | s, a]

$\mathbb{E}\left[r+\gamma max_{a'} Q(s',a';\theta^-_i)\right|s,a]$

Q

$Q$

r

$r$ 是动作选择的得分值。和分别是在时间的状态和动作以及在时间处的状态和动作。该是网络在上一迭代的权重。该是考虑到分值的时间差折算因子。在标是颞步骤。这里的问题是要理解为什么不依赖于。

s, a

$s,a$

s^{'}, a^{'}

$s',a'$

t

$t$

t^{'}

$t'$

θ_{i}^{-}

$\theta^-_i$

γ

$\gamma$

i

$i$

γ

$\gamma$

θ

$\theta$

从数学观点来看，是折扣因子，表示从状态到达状态的可能性。 $\gamma$ $s'$ $s$

我猜想网络实际上学会了根据的真实值重新缩放，那么为什么不让？ $Q$ $\gamma$ $\gamma=1$

artificial-intelligence neural-networks reinforcement-learning

— 信使
source

折扣因子不代表从状态到达状态的可能性。那将是，因为它是无模型的，所以在Q-Learning中不使用（仅基于模型的强化学习方法使用这些过渡概率）。折扣因子是用户调整的超参数，代表根据事件发生的时间长短，未来事件损失多少价值。在引用的公式中，您说的是当前状态的值是此状态的瞬时奖励加上您期望从开始的将来收益 $s′$ $s$ $p(s'|s,a)$ $γ$ $y$ $s$ $s$ 。但是，未来的长期必须要打折扣，因为未来的回报可能没有（如果）具有相同的值作为接收奖励现在（就像我们喜欢收到$ 100，而不是现在的$ 100明天）。由您决定要折旧多少（取决于问题）。折扣系数0意味着您只关心即时奖励。折扣系数越高，您的奖励将随着时间传播越远。 $γ < 1$

我建议您在尝试Deep-Q之前先阅读Sutton＆Barto的书，以便在神经网络的上下文之外学习纯粹的强化学习，这可能会使您感到困惑。

— rcpinto
source

感谢您的回答，但我仍然有一些疑问。我在大声思考。想象一下，在每一步中您都得到分，而您必须支付才能开始比赛。如何计算期望值？那么，因为您要添加的值在不同时刻在未来，不是吗？

d

$d$

c

$c$

E v = \sum_{i = 1}^{+ \infty} γ^{i} d - c

$Ev=\sum_{i=1}^{+\infty} \gamma^i d -c$

d

$d$

— emanuele

好吧，即使我也要打破，的正确值是多少？的正确值是允许我在当前和期货奖励之间进行权衡的值，并且是。是在步骤生存的概率，这就是为什么。支票是，其中在每个步骤中生存的几率是预期的寿命。

d \frac{γ}{1 - γ} = c

$d\frac{\gamma}{1-\gamma}=c$

γ

$\gamma$

g a m m a

$gamma$

γ = p

$\gamma=p$

p

$p$

t

$t$

0 \leq γ \leq 1

$0\le \gamma \le 1$

\frac{p}{1 - p} = τ

$\frac{p}{1-p}=\tau$

τ

$\tau$

— emanuele 2015年