Q-Learning就是典型的off-policy策略,它在和环境的交互中,使用\epsilon-greedy的行为策略。而在学习过程中,使用贪心策略,每次都选择Q值最高的动作,这样行为策略和目标策略是不同的,所以它是off-policy。 而在on-policy中,行为策略和目标策略是一个东西。所以,Sarsa就是典型的on-policy策略。因为它最终要学习的目标...
关于Qlearning,以下说法正确的是A.以上都不对B.Qlearning是基于策略梯度的算法C.Qlearning是一种on policy算法D.Qlearning
在线策略（on-policy）算法表示行为策略和目标策略是同一个策略，而离线策略（off-policy）算法表示行为策...
A.Sarsa是off-policy,而Q-learning是on-policyB.Sarsa是on-policy,而Q-learning是off-policyC.Q-learning在算法更新时,对应的下一个动作并没有执行,而sarsa的下一个动作在这次更新时已经确定了D.Q-learning是一种保守的算法,sarsa是一种贪婪勇敢的算法相关...
Q-learning是sarsa的off-policy版本,对于Q-Learning,我们会使用ϵ−贪婪法来选择新的动作,这部分和SARSA完全相同。但是对于价值函数的更新,在选取下一步最优动作时,Q-Learning使用的是MAX贪婪法(用目标策略选取动作进行评估),而不是SARSA的ϵ−贪婪法(用行为策略选取动作进行评估)。这一点就是SARSA和Q-Learni...
关于Qlearning,以下说法正确的是 A、Qlearning是一种on policy算法 B、Qlearning是基于策略梯度的算法 C、Qlearning是基于模型的方法 D、以上都不对
在任何包含了基于Q的算法中,包括刚才说的Q-learning,包括DQN,也包括之后要介绍的、Q网络与policy网络一起训练的Actor-Critic算法与A3C算法中,这种思想都是很重要的。如果不注意这一点,经常会遇到网络已经收敛了,但是训练出的agent却表现得很差的情况。
Q-learning 是一个 off-policy 的算法, 因为里面的 max action 让 Q table 的更新可以不基于正在经历的经验(可以是现在学习着很久以前的经验,甚至是学习他人的经验). On-policy 与 off-policy 本质区别在于:更新Q值时所使用的方法是沿用既定的策略(on-policy)还是使用新策略(off-policy) ...
Sarsa是on-policy的更新方式,先做出动作再更新。 Q-learning是off-policy的更新方式,更新learn()时无需获取下一步实际做出的动作next_action,并假设下一步动作是取最大Q值的动作。 Q-learning的更新公式为Q(St,At)←Q(St,At)+α[Rt+1+γmaxaQ(St+1,a)−Q(St,At)]Q\left(S_{t}, A_{t}\ri...
请允许我用英文回答，这样比较清晰易懂 Q-learning : try to evaluate value function forgreedypolicy ...