Open-Sora-Plan 北大团队联合兔展发起的 Sora 复现计划,现在有了新成果。 OpenAI 在今年年初扔出一项重大研究,Sora 将视频生成带入一个新的高度,很多人表示,现在的 OpenAI 一出手就是王炸。然而,众多周知的是,OpenAI 一向并不 Open,关于 Sora 的更多细节我们无从得知。谁能率先发布类 Sora 研究成了一个热门话题...
下面将以 open sora1.0项目进行部署,由于模型较大,建议使用RTX3090或其他性能优于RTX3090的显卡。 1. 选择主机和镜像 (1)进入算家云的“应用社区”,点击搜索或者找到"OpenSora",进入该模型详情页后点击“创建应用”,即可进入“租用实例”页面 (2)进入“租用实例”页面后之后会自动匹配模型,选择 3090 卡或其他性...
近期,由北大-兔展AIGC联合实验室共同发起的项目Open-Sora Plan在魔乐社区重磅发布。项目希望通过社区的力量复现OpenAI的Sora,共同推动人工智能技术的发展。 此次,魔乐社区为Open-Sora Plan提供一个平台,为开发者体验提供极大的便利。开发者通过简单的API接口和社区提供的强大算力支持即可在线体验,也可以一键获取模型,轻...
众所周知,在Sora出现之后,只有寥寥几笔带过使用结合Transformer的DIT作为BaseLine,而具体实现其实还需要茫茫多的工作,这不是最近北大主导进行Open-Sora的开源实现,今天我就带你手撕核心模块,看下目前的集大家所长SORA开源项目进展如何? Github:https://github.com/PKU-YuanGroup/Open-Sora-Plan 刚好Git昨天更新了,我们...
北京大学发布Open-Sora-Plan v1.0复现Sora 近日,北京大学发布Sora复现计划阶段性成果Open-Sora-Plan v1.0.0,旨在通过开源社区力量提升视频生成质量并支持国产AI芯片。该项目在GitHub上获得超过1万标星,展示了其框架图和实现细节,包括Video VQ-VAE、Denoising Diffusion Transformer和Condition Encoder等技术,并在可变长宽...
Open-Sora-Plan 采用了一种特殊的初始化方法(尾部初始化)。这种初始化方法可以让模型在没有任何训练的情况下,直接重建图像,甚至视频。训练细节上图展示了两种不同初始化方法在 17×256×256 图像上的损失曲线。 黄色曲线表示使用尾部初始化的损失,蓝色曲线对应中心初始化的损失。从图上可以看出,尾部初始化在损失...
打开/Open-Sora-Plan-1.0.0/opensora/serve/gradio_web_server.py 更改最后一行代码为 demo.launch(server_name='0.0.0.0', server_port=8080) 8. 更改模型库的镜像,运行py文件(运行项目,首次运行会自动下载模型参数,需要保证网络通畅) export HF_ENDPOINT=https://hf-mirror.com ...
unzipOpen-Sora-Plan-1.0.0 打开文档 cdOpen-Sora-Plan-1.0.0 4. 创建 python 为 3.8 版本的虚拟环境,名称为opensora condacreate-n opensora python=3.8-y 5. 激活虚拟环境opensora condaactivate opensora 6. 安装项目依赖文件 为了安装速度更快可以将 pip 进行永久换源 ...
在2024年3月,我们推出了Open-Sora-Plan,一个旨在复现OpenAISora的开源计划。它作为一个基础的开源框架,能够训练视频生成模型包括无条件视频生成,类别引导视频生成,文生视频。 今天,我们兴奋地展示Open-Sora-Plan v1.0.0,极大地改进视频生成质量、文本控制能力。
面对各界纷纷议论,近日,北京大学深圳研究生院-兔展智能AIGC联合实验室在深圳正式推出Open-Sora计划,旨在复现开源版的Sora。这一计划根植于北京大学和兔展智能长期以来的技术沉淀,证明了中国产业龙头公司和顶尖科研机构合作,有能力也有条件在AI领域内一较高下。