作者团队表示，在Open-Sora的复现流程中，他们使用了64块H800进行训练。第二阶段的训练量一共是 2808 GPU hours，约合7000美元，第三阶段的训练量是1920 GPU hours，大约4500美元。经过初步估算，整个训练方案成功把Open-Sora复现流程控制在了1万美元左右。数据预处理 为了进一步降低Sora复现的门槛和复杂度，Colossal-...
Open-Sora 在开源社区悄悄更新了，现在单镜头支持长达16秒的视频生成，分辨率最高可达720p，并且可以处理任何宽高比的文本到图像、文本到视频、图像到视频、视频到视频和无限长视频的生成需求。我们来试试效果。生成个横屏圣诞雪景，发b站 再生成个竖屏，发抖音 还能生成单镜头16秒的长视频，这下人人都能过把编剧...
Open-Sora是由Colossal-AI团队开源的视频生成模型,旨在复现OpenAI的Sora视频生成产品。Open-Sora同样基于DiT架构,通过三个阶段训练:大规模图像预训练、大规模视频预训练和高质量视频数据微调,以生成与文本描述相符的视频内容。该开源解决方案涵盖了整个视频生成模型的训练过程,包括数据处理、所有训练细节和模型检查点,供所有...
第二阶段的训练量一共是 2808 GPU hours,约合7000美元,第三阶段的训练量是1920 GPU hours,大约4500美元,成功把Open-Sora复现流程控制在了1万美元左右。 数据预处理 为了进一步降低Sora复现的门槛和复杂度,Colossal-AI团队在代码仓库中还提供了便捷的视频数据预处理脚本,让大家可以轻松启动Sora复现预训练,包括公开视频...
最近,AI 科技评论发现,国产视频生成模型 Open-Sora 在开源社区悄悄更新了! 现在单镜头支持长达16秒的视频生成,分辨率最高可达720p,并且可以处理任何宽高比的文本到图像、文本到视频、图像到视频、视频到视频和无限长视频的生成需求。我们来...
Colossal-AI团队全面开源全球首个类Sora架构视频生成模型 「Open-Sora 1.0」,涵盖了整个训练流程,包括数据处理、所有训练细节和模型权重。 不久前OpenAI Sora以其惊人的视频生成效果迅速走红,在一众文生视频模型中突出重围,成为全球瞩目的焦点。继2周前推出成本直降46%的Sora训练推理复现流程后,Colossal-AI团队全面开源...
在近期，国产技术团队Colossal-AI发布了引人注目的消息：他们全面开源了一个类似于OpenAI Sora的视频生成模型——Open-Sora 1.0。这一开源项目不仅包含了全部的训练细节和模型权重，而且其训练成本仅需1万美元，实现了64块GPU的高效复现。此举标志着在文生视频领域，国产技术已迈出了重要的一步，开启了视频创作新...
前言 在近期,国产技术团队Colossal-AI发布了引人注目的消息:他们全面开源了一个类似于OpenAI Sora的视频生成模型——Open-Sora 1.0。这一开源项目不仅包含了全部的训练细节和模型权重,而且其训练成本仅需1万美…
从图中可以看出对于离散Tokenizer,VidTok显著优于英伟达Cosmos Tokenizer;对于连续Tokenizer,VidTok也比Open-Sora、CogVideoX有更高的性能。 这项研究由来自微软亚研院、上海交通大学、北京大学的研究人员共同完成。 目前,VidTok代码不仅开源了,还支持用户在自定义数据集上的微调,为研究者和开发者提供了一个高性能、易...
Colossal-AI团队全面开源全球首个类Sora架构视频生成模型 「Open-Sora 1.0」,涵盖了整个训练流程,包括数据处理、所有训练细节和模型权重。