Open-Sora 1.1发布:视频生成质量和持续时间显著提升

AOuPMh.jpg

今天,我们很高兴地推出 Open-Sora-Plan v1.1.0,它显着提高了视频生成质量和持续时间以及文本控制功能。与之前的 Open-Sora-Plan v1.1.0 版本相比,改进了:

更好的压缩视觉表示:我们优化了 CausalVideoVAE 架构,该架构现在具有更强的性能和更高的推理效率。

生成质量更高、时长更长:我们使用了更高质量的视觉数据和标题以及ShareGPT4Video对长视频进行注释的能力,我们可以生成更高质量和更长的视频。

除了性能改进外,Open-Sora-Plan v1.1.0 还保持了 v1.0.0 的极简设计和数据效率。值得注意的是,我们发现 v1.1.0 表现出与 Sora 基础模型相似的性能,这表明我们版本的演变与 Sora 演示的缩放定律一致。

我们开源了 Open-Sora-Plan,以促进社区视频生成的未来发展。代码、数据、模型将公开提供。

演示:Hugging Face 演示在这里。

代码:所有训练脚本和示例脚本。

模型:此处为 Diffusion Model 和 CasualVideoVAE。

数据:此处为原始视频和字幕。

GitHub:https://github.com/PKU-YuanGroup/Open-Sora-Plan/tree/main

在线体验:https://huggingface.co/spaces/LanguageBind/Open-Sora-Plan-v1.1.0

Open-Sora-Plan v1.1.0基于 transformer 的文本到视频扩散系统,基于 T5 的文本嵌入进行训练。


收藏
最新工具
谷歌趋势
谷歌趋势

一个由谷歌提供的免费分析工具,谷歌趋势允许用户搜索和比较关键词的...

GeeLark
GeeLark

一款专为移动端设计的多账号管理工具,GeeLark提供了一种创新...

Pony Diffusion
Pony Diffusion

一个擅长生成高质量、风格化、可爱动物主题的AI动漫艺术图片生成器...

心辰Lingo语音大模型
心辰Lingo语音大模型

实现了从语音输入到语音输出的全程无缝对接,心辰Lingo能够直接...

匡优AI出题
匡优AI出题

一款利用人工智能帮助用户根据需求生成试题的网站。模板出题内置了约...

BuzzSumo
BuzzSumo

一款功能强大的在线工具,专为内容营销人员、作家和 SEO 专业人...

Ehunt.Ai
Ehunt.Ai

一个帮助卖家全面剖析Etsy产品数据,掌握市场流行风向的工具。E...

豆包爱学
豆包爱学

字节跳动旗下的AI教育应用,原名为河马爱学。豆包爱学APP基于豆...

Kacha
Kacha

一款专注于图像处理的AI写真应用程序,Kacha通过简化复杂的照...

Super智能AI知识库
Super智能AI知识库

一款可以进行AI机器人角色设定、知识库训练、发布/分享智能体,同...