PPO算法它的原理是目标仍然是on-policy算法，但是通过importance sampling技术获得了off-policy的能力。还是...
on-policy就是(采样策略)采样得到的下一个状态，off-policy就是(当前策略)给出的“理论上的下一个状...
在强化学习领域，TRPO与PPO算法被划分为on-policy算法，这一分类基于它们的特定特性与更新策略。首要关注点在于TRPO算法，其本质上是on-policy算法，虽表面看似与off-policy算法相似，通过使用old policy的分布进行重要性采样。然而，TRPO的独特之处在于，它仅使用特定策略下采样的数据来更新当前策略，而非任...
其实可以很简单的解释这个问题,根据off-policy的定义,采样的网络和要优化的网络不是一个网络,那么对于PPO来说,使用一批数据从更新actor的第二个epoch开始,数据虽然都是旧的actor采样得到的,但是我们并没有直接使用这批数据去更新我们的新的actor,而是使用imporance sampling先将数据分布不同导致的误差进行了修正。那么...
实际上是带有off-policy的性质的。但是这并不完全符合off-policy的定义，所以它本质还是属于on-policy的...
在trpo和ppo里，用来更新策略的样本都是由策略生成的，用完就扔了，所以是on policy的。至于为什么是on...
如果PPO更新的epoch=1，minibatch=1，不管有没有用IS，很典型的这里就是on-policy，应该没有疑问。
这就是PPO的on policy。SAC则要复杂一点，相比于PPO的V估计是把整个轨迹的折扣和拿来当真实值的近似，...
这就是PPO的on policy。SAC则要复杂一点，相比于PPO的V估计是把整个轨迹的折扣和拿来当真实值的近似，...