近年来,扩散模型(Diffusion Model)因其在处理复杂分布和多模态数据上的卓越表现,逐渐成为机器人学习中策略的热门选择,如Diffuser、Diffusion Policy等。然而,如何在RL框架中对基于Diffusion Model的策略进行高效学习一直是业内的重大挑战。本文提出了Diffusion Policy Policy Optimization(DPPO),结合了扩散模型的能力与RL的优...
从效果上来说,加 KL 的 RL 算法最好。 Wallace, Bram, et al. "Diffusion model alignment using direct preference optimization."Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2024. 得到的模型叫做 DPO-SDXL,既然可以用 RLHF,那么 DPO 也能用。 Clark, Kevin, et ...
Baselines: IQL、TD3+BC、 Diffusion Q-Learning (DQL)、Implicit Diffusion Q-Learning (IDQL)、Score Regularized Policy Optimization (SRPO)。 性能表现: DTQL 在大多数任务上超越了对比方法,达到了新的SOTA(state-of-the-art)水平。 具体表现: 在Gym任务中,DTQL 的平均标准化奖励为 88.7,高于其他扩散模型...
最近,来自伯克利大学的实验机构也提出了一个可以用在Diffusion Model上进行微调的强化学习算法——Denoising Diffusion Policy Optimization (DDPO): https://arxiv.org/abs/2305.13301 方法 首先,作者提出需要把图片去噪过程建模成多步马尔可夫决策过程(multi-step MDP): 作者定义了每一个时刻的状态,动作,策略,状态...
并在随后改进提出的 Q 函数引导的策略优化算法（Q-Guided Policy Optimization, QGPO）[13]中证明，...
DIPO (Diffusion Policy Optimization) 方法是第一个将扩散策略应用于在线强化学习的方法。DIPO 的核心思想是,先利用 Q 函数的梯度来更新动作,使其获得更高的奖励,然后再使用扩散模型来拟合更新后的动作分布。然而,这种方法存在两个主要问题:第一,依赖梯度更新的方式限制了算法的探索能力。由于梯度更新通常是局部搜索,...
我关注到的有两篇。思路基本一致，可以总结为Diffusion推理出图+Reward model打分+policy optimization梯度...
DDPO:Denoising Diffusion Policy Optimization diffusion的生成过程,定义成马尔科夫链的形式: \begin{array}{lrr} \mathbf{s}_t \triangleq\left(\mathbf{c}, t, \mathbf{x}_t\right) & \pi\left(\mathbf{a}_t \mid \mathbf{s}_t\right) \triangleq p_\theta\left(\mathbf{x}_{t-1} \mid \mat...
为了让扩散模型能够直接满足任意目标函数(最大化任意奖励模型输出),而不是仅仅建模匹配训练数据集的分布,论文[1]提出了针对扩散模型的微调 (finetune) 算法: DDPO (denoising diffusion policy optimization) 。 首先,以下图为例,直观感受下 DDPO 对扩散模型带来的影响。如果直接使用 Stable Diffusion v1.4 [5]并...
在Training Diffusion Models with Reinforcement Learning 一文中,Black 等人展示了如何利用 RL 来对扩散模型进行强化,他们通过名为去噪扩散策略优化 (Denoising Diffusion Policy Optimization,DDPO) 的方法针对模型的目标函数实施微调。 在本文中,我们讨论了 DDPO 的诞生、简要描述了其工作原理,并介绍了如何将 DDPO 加...