Diffusion-LM Improves Controllable Text Generation continuous diffusion model 基于classifier 的思想,从 Diffusion models beat GANs on image synthesis 启发而来。 本文重在复杂,细粒度的控制生成。本文的生成是非自回归式的。 Motivation:作者希望实现可控生成。但是为每个控制任务更新LM(language model)参数可能很昂贵...
本文将Diffusion Models for text任务建模为离散域的任务。因为Diffusion原本是针对图像生成的模型，即原本...
Diffusion Models for Non-autoregressive Text Generation: A Survey Yifan Li, Kun Zhou, Wayne Xin Zhao, Ji-rong Wen 2023 Text Diffusion Model with Encoder-Decoder Transformers for Sequence-to-Sequence Generation Hongyi Yuan, Zheng Yuan, Chuanqi Tan, Fei Huang, S...
12、Discriminative Probing and Tuning for Text-to-Image Generation 尽管在文本-图像生成(text-to-image generation)方面取得了进步,但之前方法经常面临文本-图像不对齐问题,如生成图像中的关系混淆。现有解决方案包括交叉注意操作,以更好地理解组合或集成大型语言模型,以改进布局规划。然而,T2I模型的固有对齐能力仍然...
## pre title: Diff-Font: Diffusion Model for Robust One-Shot Font Generation accepted: arxiv 2022 paper: https://arxiv.org/abs/2212.05895 code: https:
6、Towards Effective Usage of Human-Centric Priors in Diffusion Models for Text-based Human Image Generation 传统的文本到图像扩散模型在生成准确的人物图像方面存在困难,例如不自然的姿势或不成比例的肢体。现有方法大多通过在模型微调阶段添加额外的图像或人体中心先验(例如姿势或深度图)来解决这个问题。本文探讨...
TANGOis a latent diffusion model (LDM) for text-to-audio (TTA) generation.TANGOcan generate realistic audios including human sounds, animal sounds, natural and artificial sounds and sound effects from textual prompts. We use the frozen instruction-tuned LLM Flan-T5 as the text encoder and train...
11、NoiseCollage: A Layout-Aware Text-to-Image Diffusion Model Based on Noise Cropping and Merging https://github.com/univ-esuty/noisecollage 12、Discriminative Probing and Tuning for Text-to-Image Generation https://github.com/LgQu/DPT-T2I ...
GLIDE: Towards Photorealistic Image Generation and Editing with Text-Guided Diffusion Models 扩散模型(diffusion model)可以生成高质量的合成图像,尤其当基于某种条件引导(guidence)时,可以用多样性换保真性。针对基于文本条件的图像合成扩散模型,比较两种不同的指导策略:CLIP指导和无分类器指导。发现后者在照片写实度...
大语言模型主要生成文本,扩散模型生成图像或其他形式的数据。两者都是当前人工智能研究的热点领域,LLM/MLLM更侧重于多模态数据的理解与推理,而Diffusion Model更侧重于生成多模态数据,建模其分布。本次talk将介绍本课题组在两个领域上的最新研究成果,并提出将LLM和Diffusion Model进行结合的新思路。