如何使用线性函数逼近将权重拟合到Q值

在强化学习中，当存在较大的状态空间时，通常使用线性函数逼近。（当查找表变得不可行时。）

线性函数近似的值的形式为$Q-$

其中是权重，f i是特征。$w_i$$f_i$

这些功能由用户预定义。我的问题是，权重如何分配？

我已经阅读/下载了一些有关学习函数逼近的讲座幻灯片。他们中的大多数人都跟随着线性回归的幻灯片。由于它们只是幻灯片，因此往往不完整。我想知道这两个主题之间的联系/关系是什么。$Q-$

函数逼近基本上是一个回归问题（在一般意义上，即与类别离散的分类相对），即人们试图学习从输入（在您的情况下为$f(s,a)$）到实数值的函数映射。输出$Q(s,a)$。由于我们没有所有输入/输出值的完整表，而是同时学习和估计$Q(s,a)$，因此无法直接从数据中计算参数（此处为权重$w$）。这里常用的方法是使用梯度下降。

这是用值函数逼近学习$Q(s,a)$的通用算法

• 初始化参数矢量$w=(w_1,w_2,....,w_n)$随机（例如，在[0,1]）

• 对于每个情节：

  1. $s\leftarrow$情节的初始状态
  2. $a\leftarrow$政策$\pi$给予的←动作（建议：$\epsilon$贪婪）
  3. 采取行动$a$，观察奖励$r$和下一个状态$s'$
  4. $w\leftarrow w+ \alpha(r+\gamma * max_{a'}Q(s',a') - Q(s,a)) \vec\nabla_wQ(s,a)$
  5. $s\leftarrow s'$

  重复2-5，直到$s$为终端

哪里...

• $\alpha\in[0,1]$是学习速率
• $\gamma\in[0,1]$
• $max_{a'}Q(s',a')$$a'$$s'$$Q(s',a)$
• $\vec\nabla_wQ(s,a)$$Q(s,a)$$w$$(f_1(s,a),...,f_n(s,a))$

可以通过以下方式读取参数/ weights-update（第四步）：

• $(r+\gamma * max_a'Q(s',a')) - (Q(s,a))$$Q(s,a)$$Q(s,a)$$r$ $\gamma * max_a'Q(s',a')$
• $\vec\nabla_wQ(s,a)$$\alpha$

主要来源：

$Q(s,a)$$V(s)$$e$

更多参考

• $Q(s,a)$
• Geist和Pietquin 对参数值函数逼近的简要概述。看起来很有希望，但我尚未阅读。