1.和VQVAE方法相似,dVAE的encoder是将图像的patch映射到8192的词表中,论文中将其分布设为在词表向量上的均匀分类分布,这是一个离散分布,由于不可导,此时不能采用重参数技巧,DALL·E使用Gumbel Softmax trick来解决这个问题。 2、在重建图像时,真实的像素值是在一个有界区间内,而VAE中使用的Gaussian分布和Laplace...
论文链接:[2312.14125] VideoPoet: A Large Language Model for Zero-Shot Video Generation (arxiv.org) 项目链接:VideoPoet – Google Research 这篇论文出自谷歌,提出了一个基于语言模型的零样本视频生成模型:VideoPoet。VideoPoet可以同时输入文字、图像、视频、音频,可以输出视频和音频。VideoPoet的架构为decoder-...
image和video的tokenizer使用的是MAGVIT-v2 Lijun Yu, Jose ́ Lezama, Nitesh B Gundavarapu, Luca Ver- sari, Kihyuk Sohn, David Minnen, Yong Cheng, Agrim Gupta, Xiuye Gu, Alexander G Hauptmann, et al. Language model beats diffusion–tokenizer is key to visual generation.arXivpreprintarXiv:...
ReadPaper是深圳学海云帆科技有限公司推出的专业论文阅读平台和学术交流社区,收录近2亿篇论文、近2.7亿位科研论文作者、近3万所高校及研究机构,包括nature、science、cell、pnas、pubmed、arxiv、acl、cvpr等知名期刊会议,涵盖了数学、物理、化学、材料、金融、计算机科
今天给大家推荐的论文和“文本生成图像”相关。 通用领域中的“基于文本生成图像”一直是一个开放的问题,它需要生成模型和跨模态理解。 KEG实验室在“CogView: Mastering Text-to-Image Generation via Transformers”一文中,提出了 CogView——基于60亿参数的文图预训练模型做出来的一个结果。文中还展示了各种下游任务...
现有的方法都是基于Image Diffusion Model,然后adapt 到视频生成任务上,保证时序的一致性。这个缺点就是视频生成的质量贼很依赖于现有的Image Diffusion模型。 LLM其实已经在很多模态上展现出了很好的适配性和高性能。因此,作者团队希望利用现有的LLM架构实现Video Generation任务。 Method 图0 论文中对方法细节的介绍并...
论文:GAIA: Zero-shot Talking Avatar Generation,零镜头说话化身生成。链接论文摘要:零镜头说话头像生成旨在从语音和单个肖像图像合成自然的说话视频。以前的方法依赖于特定领域的启发式方法,例如基于变形的运动表示和 3D 可变形模型,这限制了生成的化身的自然性和多样性。在这项工作中,我们引入了GAIA(头像生成人工智能...
论文:《StructGPT: A General Framework for Large Language Model to Reason over Structured Data》 结构化数据以标准化… CLIP相关论文 戈上 欢迎交流 CLIP 一句话就是,基于图像和文本的对比学习策略,使用text encoder提取出文本的特征,使用image encoder提取出图像的特征,若文本和图片为正样本则使他们使对应的在...
3.1. Synthetic Data Generation 在本节中，我们概述了用于生成所提出的合成视觉概念 (SyViC) 合成 VL...
玄野 大模型(LLM)最新论文摘要 | Generate, Filter, and Fuse: Query Expansion via Multi-Step Keyword Generation for Zero-Shot Neural Rankers Authors: Minghan Li, Honglei Zhuang, Kai Hui, Zhen Qin, Jimmy Lin, Rolf Jagerman, Xuanhui Wang, Michael Bendersky ...