
SkyReels-V1
SkyReels-V1简介
昆仑万维SkyReels-V1是中国首个面向ai短剧创作的视频生成模型,能够实现影视级人物微表情表演生成,支持33种细腻人物表情与400+种自然动作组合,高度还原真人情感表达。
SkyReels-V1功能特点
影视级人物微表情演绎:能支持33种细腻人物表情以及400多种自然动作组合,高度还原真人的情感表达。
电影级光影艺术:基于好莱坞级别的高质量影视数据进行训练,所生成的每一帧画面在构图、演员站位、相机角度等方面都具有电影级的质感。
视频生成模式多样:是开源视频生成模型中参数规模最大且支持图生视频的模型,在同等分辨率下,各项指标达到开源领域的先进水平。
人物视频理解能力强:作为以人为核心的视频理解多模态大模型,可提升对视频中人物相关内容的理解能力,涵盖影视化表情识别、人物空间位置感知、行为意图理解以及表演场景理解等方面。
推理效率极高:在自研的推理优化框架“SkyReels-Infer”助力下,推理效率大幅提高。可实现544p分辨率下,单台4090显卡推理仅需80秒,并且支持分布式多卡并行。
SkyReels-V1应用场景:
AI短剧创作:生成具备高表演细节和电影级质感的短剧内容,有效解决传统短剧制作流程繁琐、成本高昂、周期漫长的问题。
社交媒体内容创作:快速产出高质量的短剧内容,增强内容的吸引力。
品牌广告制作:迅速生成契合品牌调性的创意短剧内容,节省制作时间和成本。
教育与培训:生成教育视频,以生动的方式展示课程内容。
娱乐与虚拟角色:创建虚拟偶像、游戏过场动画,或为直播平台提供虚拟主播内容。
SkyReels-V1使用方法
访问开源地址:可以访问SkyReels-V1的开源地址:https://github.com/SkyworkAI/SkyReels-V1
下载和安装:依照开源协议下载并安装SkyReels-V1以及其依赖项。
数据准备:运用自研的高质量数据清洗和人工标注管线,构建千万级别的高质量电影、电视剧、纪录片数据集。
模型训练和微调:基于自研的“Human - Centric”视频理解多模态大模型,对SkyReels-V1进行训练和微调,从而提升其在人物表演、场景理解等方面的能力。
生成视频:使用训练好的模型生成视频,支持文生视频和图生视频这两种模式。
优化和部署:利用自研推理优化框架“SkyReels - Infer”,对模型进行优化和部署,提升推理效率并降低资源消耗。
相关链接:
Github:https://github.com/SkyworkAI/SkyReels-V1
技术报告:https://skyworkai.github.io/skyreels-a1.github.io/report.pdf