莫凡----强化学习----学习笔记

1.什么是强化学习？

1. 监督学习已有数据和标签，但是强化学习需要一次次在环境中尝试来获取数据和标签，然后学习哪些数据对应哪些标签。

2. 包含算法分类

   * 通过价值选行为：Q learning ， Sarsa ， Deep Q Network
   * 直接选行为：Policy Gradients
   * 想象环境并从中学习：Model based RL
   

3. 根据Model-Free RL（不理解环境）和Model-Based RL（理解环境）分类

​ 前者从真实环境中得到反馈从而学习，后者构建虚拟世界，agent既可以在虚拟世界中也可以在真实世界

	* Model-Free RL：Q learning ， Sarsa ， Policy Gradients
	* Model-Based RL：Q learning ， Sarsa ， Policy Gradients

4. 基于概率（Policy-Based RL）和基于价值（Value-based RL）分类

以上是针对离散的动作，然而对于连续的动作基于价值的方法无法用需要用基于概率的方法

• Policy-Based RL：Policy Gradients

• Value-based RL：Q learning ，Sarsa

  将两者结合起来就有了另一个方法：Actor-Critic方法，这个方法是根据前者得出连续的动作而根据后者给出对于动作的评分。

5. 回合更新（Monte-Carlo update）和单步更新（Temporal-Difference update）

• Monte-Carlo update：基础版Policy Gradients ， Monte-Carlo Learning
• Temporal-Difference update：Q learning ，Sarsa ， 进阶版Policy Gradients

6. 在线学习（On-Policy）和离线学习（Off-Policy）

一个是自己与环境交互进行学习，一个是看别人的行为来学习。前者边做边学，后者看和学习可以分开进行。

• On-Policy：Sarsa ， Sarsa（λ）
• Off-Policy：Q Learning ， Deep Q Network

2.什么是 Q Learning？

Q（s1，a2）现实中maxQ（s2）也包括对未来的估计

3.什么是Sarsa？

相比于Q learning，Sarsa是行动派

Sarsa是在线学习（说到做到），Q learning是离线学习（说到不一定做到）

4.什么是DQN？

神经网络+Q learning

Q learning是一种离线学习，他可以学习现在的也可以学习过去的经历

5.什么是Policy Gradients？

可以处理连续动作问题

反向传递是如果某种动作是想要的那么反向传递增大其效果

6.什么是Actor-Critic？

Actor由Policy Gradients而来可以处理连续

Critic由Q learning而来基于值

为什么不只用Policy Gradients，因为它是回合更新制，学习效率低，而Q learning可以单步更新

Critic评判Actor的奖惩机制，并且Critic可以单步评判，Actor去指手画脚，Critic评价哪些指导的好哪些不好

由于这两者结合起来会使得学习能力不行

于是又将DQN加入进来有了Deep Deterministic Policy Gradient解决了在连续区间上预测学不到东西的问题

7.什么是DDPG？

8.什么是A3C？

平行世界同时学习，之后传给黑色，黑色又将所有的综合再发下去

9.什么是PPO？

一句话概括PPO：OpenAI提出一种解决Policy Gradient不好确定Learning rate（或者Step size）的问题。因为step size太大，学过来的Policy就会一直乱动，不会收敛，但是如果Step size太小，对于完成训练，会等到绝望。PPO利用New Policy和Old Policy的比例，限制了New Policy的更新幅度，让Policy Gradient对稍微大的step size不那么敏感。让新老策略变化不大。

本文来源自 莫凡强化学习教程