强化学习五 || TD算法

回顾TD算法

image-20220219153050864

Sarsa算法

画出一张表格

image-20220219153438648

image-20220219153601040

在计算TD target时，需要查表，找出蓝色圈出的式子

image-20220219153658979

还能通过查表找到TD error

image-20220219153746418

更新权重

如果参数过多，无法画表，则利用神经网络模拟Q函数

image-20220219154110766

image-20220219154234498

Q-learning

Q-learning和sarsa算法的区别是，Q-learning学习Q*函数，要求最大化

image-20220219154957733

image-20220219155406090

image-20220219155749870

我们可以通过查表找出蓝色框出来的最大值

image-20220219155823031

image-20220219155850748

神经网络形式的Q-learning

image-20220219160045615

Multi-Step Return 批量梯度更新

image-20220219214853491

还可以继续递归下去，然后得到多步回报公式

image-20220219215122744

image-20220219215311385

image-20220219215419042

多步TD target往往比 一步的效果要好

# 算法 # 深度学习
Logo
九章云极普惠算力

更多推荐

cover

阿里云 Coding Plan Lite 下架，各家算力吃紧，上哪买还能支持GLM-5和5.1的coding plan？_2026-04-15

avatar 九章云极普惠算力
cover

看遍了市面上的coding plan，我发现还是这个好用

avatar 九章云极普惠算力

Kandinsky-5.0-I2V-Lite-5s惊艳效果展示：赛博朋克街景→霓虹闪烁+雨滴滑落动态视频

本文介绍了如何在星图GPU平台上自动化部署Kandinsky-5.0-I2V-Lite-5s镜像，实现高效图生视频转换。该工具能将静态赛博朋克街景图片快速转换为动态视频，添加霓虹闪烁、雨滴滑落等效果，适用于短视频制作、广告创意等场景，显著提升内容创作效率。

avatar 九章云极普惠算力