Critic 网络通过估计当前状态和下一个状态 的 V 值,来计算 TD-Error,然后更新参数。 3、Actor 的更新 Actor的学习本质上就是 PG 的更新,只不过在 AC 中更新的权重变成了 TD-Error。在上一篇 介绍 REINFORCE算法文章中已经详细讲过,传送门强化学习——REINFORCE 算法推导与代码实现 。在此不再赘...