![MimicMotion](https://www.yjpoo.com/uploads/allimg/20240625/1-240625144455S6.png)
MimicMotion
MimicMotion简介
腾讯和上交大出的,MimicMotion可以生成任意长度、具有任何动作指导的高质量视频生成框架,可以生成细节丰富、逼真的人类动作视频,可以生成任意长度的视频内容,可以对视频内容进行精确控制,包括动作、姿势和视频风格等。
类似阿里的通义舞王,但效果看起来比阿里通义舞王好很多,MimicMotion支持面部特征和唇形同步,不止可以搞跳舞视频,也可以做数字人。
近年来,生成式人工智能在图像生成领域取得了重大进展,催生了多种应用。然而,视频生成在可控性、视频长度、细节丰富度等各方面仍面临相当大的挑战,阻碍了该技术的应用和普及。在这项工作中,我们提出了一种可控视频生成框架,称为 MimicMotion,它可以在任何运动指导下生成任意长度的高质量视频。与以前的方法相比,我们的方法
有几个亮点。
首先,通过置信感知姿势指导,可以实现时间平滑性,从而可以通过大规模训练数据增强模型的连贯流畅。
其次,基于姿态置信度的区域损失放大显着减轻了图像的失真,能够显著减少生成图像中的扭曲和变形。
最后,为了生成流畅的长视频,提出了一种渐进式潜在融合策略。通过这种方式,能够在可接受的计算资源消耗下,实现任意长度视频的生成。
通过大量的实验和用户研究,MimicMotion 在多个方面比阿里的通义舞王的方法有了明显的改进。
MimicMotion代码:https://github.com/Tencent/MimicMotion
MimicMotion ComfyUI版本:https://github.com/aiFSH/ComfyUI-MimicMotion