距离第一本书《深入浅出强化学习：原理入门》的出版已经有一年多了，首先非常感谢大家对这本书的支持，同时也向大家道歉这本书中出现的一些排版和编辑上的错误。说实话，书出版后我看到过各种各样的评论，有赞美的、也有批判的。对于赞美的读者，我很欣慰能帮助到他们；对于批判的读者，我则是很抱歉，也很内疚。所以很长一段时间不敢再去看网上的评论。后来，心境平和后，又认真看了那些批判的评论，其实很客观的说，这些批判的评论某些地方很有道理。书中确实存在不少问题。当然，我也收到了那些很真诚地指出书中错误的邮件，对于这些邮件我都一一回复，并认真修改，非常感谢这些网友。下面对书中出现的排版和编辑上的错误勘误如下：

1. 第29页“（4）玻尔兹曼分布”应该改成“（4）玻尔兹曼策略”公式为：
   ，如图1所示。

2. P48页，将图中D改成U

3. P55页，将“未知”改成“已知”

4. P67页，将图中分母的“n”改成“n-1”

5. 将5.7图片中画红圈的地方修改成

6. 替换89页的图片

7. 第102页，将图中标出的公式修改为

8. 120页修改为

除了上面这些，还有哪些错误？应该还有吧，还请大家多多指出，再次对读者说声道歉。