Policy-based RL

思路

基于MC采样的更新方法：

特点

无偏但是噪声大，噪声是因为它是随机采样的，好的结果和坏的结果差距较大。

解决噪声问题

use temporal causality

在时序上处理（REINFORCE）

上式梯度更新变为下式，某时刻的奖励只与当前时刻相关，这样可以减少无必要的相关性：

include a baseline

再将上式变为下式，减去一个bias，这个bias可以取值为期望，这样就可以平均一些很离谱的价值：

可以将b取为：

方法

MC policy gradient

  （采样） 这里首先假设一个马尔科夫过程，我们对这个马尔科夫链进行采样如下
$\tau =\left(s_0,a_0,r_1,\dots s_{T-1},a_{T-1},r_T,s_T\right)\sim \left({\pi }_{\theta },P\left(s_{t+1}\mid s_t,a_t\right)\right)$
 
  （要优化的函数）$J(\theta )={\mathbb{E}}_{{\pi }_{\theta }}\left[{\sum }_{t=0}^{T-1}R\left(s_t,a_t\right)\right]={\sum }_{\tau }P(\tau ;\theta )R(\tau )$
（其中$R(\tau )={\sum }_{t=0}^{T-1}R\left(s_t,a_t\right)$， $P(\tau ;\theta )=\mu \left(s_0\right){\prod }_{t=0}^{T-1}{\pi }_{\theta }\left(a_t\mid s_t\right)p\left(s_{t+1}\mid s_t,a_t\right)$）
 
  （要优化的目标）${\theta }^{\ast }=\underset{\theta }{\mathrm{argmax}}J(\theta )=\underset{\theta }{\mathrm{argmax}}{\sum }_{\tau }P(\tau ;\theta )R(\tau )$
 
  （用于优化的梯度）${\nabla }_{\theta }J(\theta )={\sum }_{\tau }P(\tau ;\theta )R(\tau ){\nabla }_{\theta }\log P(\tau ;\theta )$
 
  （用MC蒙特卡洛采样的方法近似梯度）${\nabla }_{\theta }J(\theta )\approx \frac{1}{m}{\sum }_{i=1}^{m}R\left({\tau }_i\right){\nabla }_{\theta }\log P\left({\tau }_i;\theta \right)$
 
   （分解核函数)${\nabla }_{\theta }\log P(\tau ;\theta )={\sum }_{t=0}^{T-1}{\nabla }_{\theta }\log {\pi }_{\theta }\left(a_t\mid s_t\right)$
 
   （最后的近似梯度，amazing！！！）${\nabla }_{\theta }J(\theta )\approx \frac{1}{m}{\sum }_{i=1}^{m}R\left({\tau }_i\right){\sum }_{t=0}^{T-1}{\nabla }_{\theta }\log {\pi }_{\theta }\left(a_t^i\mid s_t\right)$
从上面MC近似的梯度来看，这里并不一定需要model-base。