git clone https://github.com/PKU-YuanGroup/Open-Sora-Plan cd Open-Sora-Plan conda create -n opensora python=3.8 -y conda activate opensora pip install torch==1.13.1+cu117 torchvision==0.14.1+cu117 torchaudio==0.13.1 --extra-index-url https://download.pytorch.org/whl/cu117 pip instal...
所有最新的新闻、代码和模型权重将在github.com/PKU-YuanGrou公开更新。 2 核心模型 图2:WF-VAE概览。WF-VAE(Li et al., 2024b)由一个骨干网络和一条主要能量路径组成,该路径通过连接操作将视频能量的主要流注入到骨干网络中。 2.1 小波流变分自编码器(Wavelet-Flow VAE) 基础知识 多级Haar小波变换通过在时间...
git clone https://github.com/PKU-YuanGroup/Open-Sora-Plan cd Open-Sora-Plan Install required packages conda create -n opensora python=3.8 -y conda activate opensora pip install -e . Install additional packages for training cases pip install -e ".[train]" pip install flash-attn --...
Open-Sora-Plan是一个文生视频和图生视频的开源项目(地址: GitHub - PKU-YuanGroup/Open-Sora-Plan: This project aim to reproduce Sora (Open AI T2V model), we wish the open source community contribute t…
项目下载:git clonehttps://github.com/PKU-YuanGroup/Open-Sora-Plan cd Open-Sora-Plan FFmpeg FFmpeg 用于视频的解码、编码和处理。 安装方式:(我安装的4.0.2版本) 1.下载 wget https://ffmpeg.org/releases/ffmpeg-<version>.tar.bz2 tar xjvf ffmpeg-<version>.tar.bz2 ...
本次报告将详细介绍该开源项目发起初衷、技术路线、当前进展与不足,以及未来计划。 开源计划项目链接: https://github.com/PKU-YuanGroup/Open-Sora-Plan 微信扫描二维码报名,报名表提交成功为有效报名 阅读原文
git clone https://github.com/PKU-YuanGroup/Open-Sora-Plancd Open-Sora-Planconda create -n opensora python=3.8 -yconda activate opensorapip install -e . Usage Datasets Refer toData.md Video-VQVAE (VideoGPT) Training cd src/sora/modules/ae/vqvae/videogpt ...
our Open-Sora Plan achieves impressive video generation results in both qualitative and quantitative evaluations. We hope our careful design and practical experience can inspire the video generation research community. All our codes and model weights are publicly available at \url{https://github.com/...
问:如何贡献代码给Open-Sora-Plan项目? 答:用户可通过GitHub找到Open-Sora-Plan项目,提出issue或提交Pull Request。 问:Open-Sora-Plan是否有相关社区或论坛用于交流和讨论? 答:目前暂未设立官方社区,但用户可以在GitHub上进行讨论和交流。 (举报)
北大信息工程学院助理教授、博导袁粒介绍,Open-Sora计划已于近期在GitHub上公开,它核心技术框架包括视频编解码模块、Diffusion Transformer模型和条件输入三大模块。与“财大气粗”的OpenAI不同,在资源有限的情况下,Open-Sora计划采用了计算更友好的2D + 1D Diffusion Transformer,同步还在推进除了文本控制外的更多条件控制的...