Value-Based Reinforcement Learning : 价值学习
2. 价值学习2.1 Deep Q-Network DQN
其实就是用一个神经网络来近似 (Q*) 函数。
agent 的目标是打赢游戏,如果用强化学习的语言来讲,就是在游戏结束的时候拿到的奖励总和 Rewards 越大越好。
a. Q-star Function
问题:假设知道了 (Q^*(s,a)) 函数,哪个是最好的动作?
显然,最好的动作是(a^* = mathop{argmax}limits_{a}Q^*(s,a)) ,
(Q^*(s,a))可以给每个动作打分,就像一个先知,能告诉你每个动作带来的平均回报,选平均回报最高的那个动作。
但事实是,每个人都无法预测未来,我们并不知道(Q^*(s,a))。而价值学习就在于学习出一个函数来近似(Q^*(s,a)) 作决策。
b. Example
对于不同的案例,DQN 的结构会不一样。
如果是玩超级玛丽
c. 用 DQN 打游戏
DQN 的具体执行过程如下:
分步解释:
2.2 TD 学习
如何训练 DQN ?最常使用的是 Temporal Difference Learning。TD学习的原理可以用下面这个例子来展示:
a. 案例分析
要开车从纽约到亚特兰大,有一个模型(Q(w))预测出开车出行的开销是1000分钟。这个预测可能不准,需要更多的人提供数据来训练模型使得预测更准。
问题:需要怎样的数据?如何更新模型。
缺点:这种算法比较 naive,因为要完成整个旅程才能完成对模型做一次更新。
那么问题来了:假如不完成整个旅行,能否完成对模型的更新?
可以用 TD 的思想来考虑这件事情。比如我们中途路过 DC 不走了,没去亚特兰大,可以用 TD 算法完成对模型的更新,即
b. 算法原理
换个角度来想,TD 的过程就是这样子的:
模型预测 NYC -> Atlanta = 1000, DC -> Atlanta = 600,两者差为400,也就是NYC -> DC = 400,但实际只花了300分钟预计时间与真实时间之间的差就是TD error:(delta = 400-300 = 100)。
TD 算法目标在于让 TD error 尽量接近 0 。
即我们用部分的真实 修改 部分的预测,而使得整体的预测更加接近真实。我们可以通过反复校准 可知的这部分真实 来接近我们的理想情况。
c. 用于 DQN(1) 公式引入
上述例子中有这样一个公式:$T_{NYCrightarrow ATL} approx T_{NYCrightarrow DC} + T_{DCrightarrow ATL} $
想要用 TD 算法,就必须要用类似这样的公式,等式左边有一项,右边有两项,其中有一项是真实观测到的。
而在此之前,在深度强化学习中也有一个这样的公式:(Q(s_t,a_t;w)=r_t+gamma cdot Q(s_{t+1},a_{t+1};w))。
公式解释:
左边是 DQN 在 t 时刻做的估计,这是未来奖励总和的期望,相当于 NYC 到 ATL 的预估总时间。右边 (r_t)是真实观测到的奖励,相当于 NYC 到 DC 。(Q(s_{t+1},a_{t+1};w)) 是 DQN 在 t+1 时刻做的估计,相当于 DC 到 ATL 的预估时间。(2) 公式推导
为什么会有一个这样的公式?
回顾 Discounted return:(U_t=R_t+gamma R_{t+1}+gamma^2 R_{t+2}+gamma^3 R_{t+3}+cdots)
提出 (gamma) 就得到$ = R_t + gamma(R_{t+1}+ gamma R_{t+2}+ gamma^2 R_{t+3}+cdots) $
后面这些项就可以写成(U_{t+1}),即 (=R_t+gamma U_{t+1})
这样就得到:(U_t = R_t + gamma cdot U_{t+1})
直观上讲,这就是相邻两个折扣算法的数学关系。
(3) 应用过程
现在要把 TD 算法用到 DQN 上
有了 prediction 和 TD target ,就可以更新 DQN 的模型参数了。
2.3 总结
价值学习(本讲是DQN)基于最优动作价值函数 Q-star :
(Q^*(s_t,a_t) = mathbb{E}[U_t|S_t=s_t,A_t=a_t])
对 (U_t) 求期望,能对每个动作打分,反映每个动作好坏程度,用这个函数来控制agent。
DQN 就是用一个神经网络(Q(s,a;w))来近似$Q^*(s,a) $
神经网络参数是 w ,输入是 agent 的状态 s输出是对所有可能动作 $ a in A$ 的打分
TD 算法过程
观测当前状态 $S_t = s_t $ 和已经执行的动作 (A_t = a_t)
用 DQN 做一次计算,输入是状态 (s_t),输出是对动作 (a_t) 的打分
记作(q_t),(q_t = Q(s_t,a_t;w))
反向传播对 DQN 求导:(d_t = frac{partial Q(s_t,a_t;w)}{partial w} |_{ w=w_t})
由于执行了动作 (a_t),环境会更新状态为 (s_{t+1}),并给出奖励(r_t)。
求出TD target:(y_t = r_t + gamma cdot mathop{max}limits_{a} Q(s_{t+1},a_t;w))
做一次梯度下降更新参数 w , (w_{t+1} = w_t – alpha cdot (q_t-y_t) cdot d_t)
更新迭代…
x. 参考教程
暂无评论内容