因此,为了更好地理解 Diffusion Model + RL 这一系列技术的原理,同时探索它在不同类型决策问题上的潜力,OpenDILab 团队推出 Diffusion Model + RL 系列技术科普和研讨博客,希望和广大技术爱好者一起探索和讨论 Diffusion Model + RL 的无限可能性。
上期回顾:Diffusion Model + RL 系列技术科普博客(5):Latent Diffusion in RL 0. 引言 Diffusion Model 系列博客前几期主要围绕利用扩散模型 (Diffusion model) 解决序列决策问题 (Decision-making problem) 的各种思路展开,反过来想,是否可以利用解决序列决策问题的主流思路——强化学习来优化扩散模型,使得扩散模型满足...
数据增强方面，扩散模型因其泛化能力被用于增强训练数据，通过S4RL等算法在离线学习环境中展现效果。规划器方面，Diffuser模型能有效规划长时轨迹，后续的AdaptDiffuser和MetaDiffuser等算法则拓展到了多任务和元强化学习。总结来说，扩散模型的生成能力为强化学习带来了新机遇，特别是在高维数据处理和策略规划上。
扩散模型，如Diffuser，通过迭代的去噪过程产生数据，逆过程则用于建模复杂分布。这些模型在决策轨迹的建模中展现出了强大威力，特别是在离线RL环境中，它们能够处理模型-free和model-based策略的融合。方法论 Diffuser以模仿学习（通过模仿专家策略）和强化学习（扩散模型与RL的集成）为两大支柱。轨迹表示采用...
而一些可解析的分布函数又难以表征比较复杂的数据分布。这篇文章从热力学扩散中得到灵感,提出一种扩散模型(diffusion model),把原始信息逐步扩散到一个简单明了并能解析计算的分布(比如正态分布),然后学习这个扩散(diffusion)过程,最后在进行反传(reverse diffusion),从一个纯噪声逐步恢复出原始信息。
前一篇介绍了 diffusion model 的设计灵感和主要的思想。这篇沿用了之前的想法,用一个马尔科夫链来构成一个生成模型,训练是是把原始分布逐步扩散到一个噪声分布,然后学习其逆扩散的过程。不同的是此处把模型的逆扩散过程更加形象地看成是去噪过程(DDPM),并优化了训练目标,使得训练和生成过程更加清晰简洁,后面很多论文...
To enhance both accuracy and diversity of the diffusion model in HMP, we present RD-Diff : RLTransformer -based Diffusion model with Diversity-inducing modulator . First, to improve transformer's effectiveness on the frequency representation of human motion transformed by Discrete Cosine Transform (...
The Diffusion Model in RL was introduced by “Planning with Diffusion for Flexible Behavior Synthesis” by Janner, Michael, et al. It casts trajectory optimization as adiffusion probabilistic modelthat plans by iteratively refining trajectories. ...
4. Diffusion with DPO/RLHF Diffusion Model Alignment Using Direct Preference Optimization ImageReward: Learning and Evaluating Human Preferences for Text-to-Image Generation IterComp: Iterative Composition-Aware Feedback Learning from Model Gallery for Text-to-Image Generation Application Taxonomy 1. Compu...
Diffusion Model(DM)可谓是近年最火爆的模型了,其原理简单而言就是把图像生成的过程从以往的一个 decoder 一步到位,拆解成了多步 denoise,通过反复把(noisy)image 输入一个 denoiser 预测 noise 来做生成。训练时我们通过往干净样本上加噪声得到训练数据,然后训练 denoiser 预测所加的噪声。