为什么Q-Learning是 Off-policy: Refs 两种不同的value-based methods 回顾一下前篇中提到的,基于价值的方法是通过训练价值函数来间接确定动作。我们通过训练价值函数来评估状态或状态-动作对的价值,然后根据这个价值函数选择动作。 状态值函数(State Value Function): 对于每个状态,状态值函数输出代理从该状态开始,然后...
在线策略（on-policy）算法表示行为策略和目标策略是同一个策略，而离线策略（off-policy）算法表示行为策...
关于第一点,Sarsa算法在循环外选择A,是因为,Sarsa算法会在循环内选择A'并在后面更新为A,因此,只需要在循环外选择一次A即可;Q-learning算法不同,Q-learning算法在后续循环中是没有选择A'的,没有办法将A'更新为A,因此,Q-learning必须在循环内选择A。 关于第二点和第四点,他们影响了第一点;除此之外,Sarsa需要...
深入探讨Q-learning为何无需使用重要性采样，首先从其算法结构出发。Q-learning作为一种经典的强化学习算法，其采用off-policy策略，即在更新目标策略时，利用与目标策略不同的行为策略产生的样本。这在一定程度上使得Q-learning在探索与利用之间取得了较好的平衡。在Q-learning的1-step更新过程中，每一步更...
1. 我们常见的使用重要性采样的off-policy算法往往都是behavior policy是epsilon-greedy策略或其他形式的随机策略,而target policy是greedy策略,但是这里需要注意的是,不论DQN还是Q-learning,它的target policy是epsilon greedy策略,而它的behavior policy也是epsilon greedy策略。这里比较难以理解的是target policy为什么也是...
Q-learning 在sarsa算法中,选择动作时遵循的策略和更新动作值函数时遵循的策略是相同的,即ϵ−greedyϵ−greedy的策略,而在接下来介绍的Q-learning中,动作值函数更新则不同于选取动作时遵循的策略,这种方式称为离策略(Off-Policy)。Q-learning的动作值函数更新公式如下: ...
1.为什么不直接用现实值更新老的Q值呢? Q值是未来发展情况的累计变量,不只有下一步的现实值 Q值的定义,从当前状态开始,之后每一次状态决策都采取最优解,直到最后一个状态(Game over)的动作质量(quality)。 Q值可以一眼看穿未来,这就是Q-learning 的迷人之处。
q learning是off policy的,它每次实验选择下一个a是由behavior policy决定的。这里的behavior policy采用了选择q最大的a。如果是sarsa这种on policy的,它会按照之前学习的target policy去选a,一般是epsilon-greedy。 _牛客网_牛客在手,offer不愁
A.Sarsa是off-policy,而Q-learning是on-policyB.Sarsa是on-policy,而Q-learning是off-policyC.Q-learning在算法更新时,对应的下一个动作并没有执行,而sarsa的下一个动作在这次更新时已经确定了D.Q-learning是一种保守的算法,sarsa是一种贪婪勇敢的算法相关...
Q-Learning直接学习的是最优策略,而SARSA在学习最优策略的同时还在做探索。这导致我们在学习最优策略的时候,如果用SARSA,为了保证收敛,需要制定一个策略,使ϵ−ϵ−贪婪法的超参数ϵϵ在迭代的过程中逐渐变小。Q-Learning没有这个烦恼。 另外一个就是Q-Learning直接学习最优策略,但是最优策略会依赖于训练...