短短的一个月后, Open-Sora Plan 正式推出,在华为昇腾的支持下,Open-Sora Plan 兼容文生图和文生视频,其生成的视频精致流畅,可媲美电影效果。更重要的是Open-Sora Plan 完全开源,开发者可基于自己的需求进行模型定制,大大提升了开发效率,因此 Open-Sora Plan 一经发布立即引起国内外 AI 开发者的关注,很快冲上...
背景:Open-Sora-Plan 作为开源的视频生成模型,在V1.3及之后可以说是SOTA之一。其中关键模块也被众多主流开源项目借鉴,如 CausalConv3D 就在腾讯的HunYuanVideo中被使用。今天我们围绕V1.3的技术报告,挑选其中核心模块进行解读。 算法整体模块: 整体框架沿袭了StableDiffusion 原版的结构(甚至配色)。 DIffusion Model的训...
Open-Sora-Plan迎来又一次升级。新的Open-Sora-Plan v1.3.0版本引入了五个新特性:性能更强、成本更低的WFVAE;Prompt refiner;高质量数据清洗策略;全新稀疏注意力的DiT,以及动态分辨率、动态时长的支持。 本次升级主要是由于巨大的计算开销和不明确的训练策略限制了3D全注意力架构Open-Sora-Plan v1.2.0的发展。Op...
“与之恰恰相反，我们Open-Sora Plan中的数据是完全开源的，全世界范围内的用户都可以直接拿去用，甚至利用它们来盈利。”作为技术模块的主要负责人，袁粒在发布现场向记者表示。据袁粒介绍，Open-Sora计划的核心技术框架包括视频编码器与解码器、Diffusion Transformer模型和条件注入模型三大模块，目前基于已经搭好的训...
图片来源：OpenAI官网然而，由于OpenAI选择了闭源Sora，后续发布的技术报告也并未透露模型训练的细节，因此没有人知道这些强大的效果是如何实现的。不久前，马斯克对OpenAI提起了诉讼，指控OpenAI背离了创立初衷，从一个开源的非营利组织转变为闭源、追求商业利益的机构。“与之恰恰相反，我们Open-Sora Plan中的数据是完全...
Open-Sora-Plan迎来又一次升级。新的Open-Sora-Plan v1.3.0版本引入了五个新特性:性能更强、成本更低的WFVAE;Prompt refiner;高质量数据清洗策略;全新稀疏注意力的DiT,以及动态分辨率、动态时长的支持。 本次升级主要是由于巨大的计算开销和不明确的训练策略限制了3D全注意力架构Open-Sora-Plan v1.2.0的发展。Op...
现在这个项目终于有了新成果，Open-Sora-Plan v1.0.0 来了，新研究显著增强了视频生成的质量以及对文本的控制能力。研究者表示，他们正在训练更高分辨率（>1024）以及更长时间（>10s）的视频。目前该项目已支持国产 AI 芯片（华为昇腾 910b）进行推理，下一步将支持国产算力训练。项目作者林彬表示：Open-Sora-...
“与之恰恰相反,我们Open-Sora Plan中的数据是完全开源的,全世界范围内的用户都可以直接拿去用,甚至利用它们来盈利。”作为技术模块的主要负责人,袁粒在发布现场向记者表示。据袁粒介绍,Open-Sora计划的核心技术框架包括视频编码器与解码器、Diffusion Transformer模型和条件注入模型三大模块,目前基于已经搭好的训练框架,...
“与之恰恰相反，我们Open-Sora Plan中的数据是完全开源的，全世界范围内的用户都可以直接拿去用，甚至利用它们来盈利。”作为技术模块的主要负责人，袁粒在发布现场向记者表示。据袁粒介绍，Open-Sora计划的核心技术框架包括视频编码器与解码器、Diffusion Transformer模型和条件注入模型三大模块，目前基于已经搭好的训练...
面对各界纷纷议论,北京大学深圳研究生院-兔展智能AIGC联合实验室近期推出了Open-Sora计划,旨在复现开源版的Sora。这一计划根植于北京大学和兔展智能长期以来的技术沉淀,证明了中国产业龙头公司和顶尖科研机构合作,有能力也有条件与西方国家领先团队一较高下。而兔展智能和北大团队也希望通过开源的方式,带动全球范围感兴趣...