SAC（softactor-critic）是一种采用off-policy方法训练的随机策略算法，该方法基于最大熵（maximum entropy）框架，即策略学习的目标要在最大化收益的基础上加上一个最大化每一时刻策略的熵。根据这短短一句话的介绍，我不禁产生了两个疑问：1.Softactor-critic中的 “soft” 有什么含义？2. 通常的随机策略算法都...
3. On-policy 算法常见超参数 由于on-policy 是利用 replay buffer 中相同策略产生数据来更新策略网络的,所以部分超参数在设计上与 off-policy 具有天然地不同。 (1) Buffer Size 应大于等于单轮同一策略采样步数 (2) Batch Size 有关经验建议是 on-policy 方法使用稍大的学习率(2e-4,即 0.0002)以及更大的...
title不revisiting,但是内容很revisiting的工作。之前其他paper的工作脉络是ppo trick->on policy matters的角度来,然后这篇工作从off-policy的几个算法(MPO,AWR,SAC)的几个设计选择入手,分析了分析,具体见图。take away是table6[旺柴][旺柴] 发布于 2021-12-22 16:16 ...
因此，SAC依然是Q-Learning算法，可以使用off-policy的技巧。这也解释了某个回答中的疑惑，原始论文的假...
SAC(soft actor-critic)是一种采用off-policy方法训练的随机策略算法,该方法基于 最大熵(maximum entropy)框架,即策略学习的目标要在最大化收益的基础上加上一个最大化每一时刻策略的熵。根据这短短一句话的介绍,我不禁产生了两个疑问:1. Soft actor-critic 中的 “soft” 有什么含义?2. 通常的随机策略算法...
先说结论:没问题,SAC 不需要重要性采样。 再来谈一下题主说的强化学习算法中的体系问题。个人粗浅的认为强化学习算法可以分为两个体系:基于策略评估与策略改进的体系(策略迭代),和基于价值迭代的体系。前者的理论依据为贝尔曼方程,后者的理论依据为最优贝尔曼方程。 前者首先需要对某一策略 \pi 进行评估得到 J^\pi...
也就是说更新用的样本并不对应到当前的策略上，而是直接面向optimal policy，那自然是off-policy了。
SAC只不过用了额外的一个网络拟合policy的概率分布，然后加上了entropy项。但是本质还是off-policy的...