Open-Sora 1.1发布:视频生成质量和持续时间显著提升

AOuPMh.jpg

今天,我们很高兴地推出 Open-Sora-Plan v1.1.0,它显着提高了视频生成质量和持续时间以及文本控制功能。与之前的 Open-Sora-Plan v1.1.0 版本相比,改进了:

更好的压缩视觉表示:我们优化了 CausalVideoVAE 架构,该架构现在具有更强的性能和更高的推理效率。

生成质量更高、时长更长:我们使用了更高质量的视觉数据和标题以及ShareGPT4Video对长视频进行注释的能力,我们可以生成更高质量和更长的视频。

除了性能改进外,Open-Sora-Plan v1.1.0 还保持了 v1.0.0 的极简设计和数据效率。值得注意的是,我们发现 v1.1.0 表现出与 Sora 基础模型相似的性能,这表明我们版本的演变与 Sora 演示的缩放定律一致。

我们开源了 Open-Sora-Plan,以促进社区视频生成的未来发展。代码、数据、模型将公开提供。

演示:Hugging Face 演示在这里。

代码:所有训练脚本和示例脚本。

模型:此处为 Diffusion Model 和 CasualVideoVAE。

数据:此处为原始视频和字幕。

GitHub:https://github.com/PKU-YuanGroup/Open-Sora-Plan/tree/main

在线体验:https://huggingface.co/spaces/LanguageBind/Open-Sora-Plan-v1.1.0

Open-Sora-Plan v1.1.0基于 transformer 的文本到视频扩散系统,基于 T5 的文本嵌入进行训练。


收藏
最新工具
跃问视频
跃问视频

由阶跃星辰开发的AI视频生成工具,只需通过简单的文本输入跃问视频...

Linkody
Linkody

一款专为外贸建站设计的外链建设工具,Linkody提供了强大的链...

Haikei.App
Haikei.App

用于生成独特 SVG 形状、背景和图案的工具。

123云盘
123云盘

WebDAV协议:用户可以通过任何支持WebDAV的客户端软件将...

好录
好录

一款功能强大的电脑录屏软件,好录可以让您快速在电脑上一键录屏与分...

开发者搜索
开发者搜索

百度为开发者群体开发的一个小而美垂类搜索,开发者搜索目的让开发者...

Buzzing
Buzzing

中文浏览国外社交媒体里的热门讨论,母语快速导读, 感兴趣再进原文...

搜索123
搜索123

一款一站式AI聚合搜索引擎, 一次搜索,查看对比所有结果,用户可...

PostNitro AI
PostNitro AI

适用于 Instagram、LinkedIn 等的免费AI轮播帖...

虫部落快搜
虫部落快搜

虫部落推出的一款搜索引擎集合工具,虫部落快搜集成了Google、...