MimicMotion

腾讯和上交大出的，MimicMotion可以生成任意长度、具有任何动作指导的高质量视频生成框架，可以生成细节丰富、逼真的人类动作视频，可以生成任意长度的视频内容，可以对视频内容进行精确控制，包括动作、姿势和视频风格等。

类似阿里的通义舞王，但效果看起来比阿里通义舞王好很多，MimicMotion支持面部特征和唇形同步，不止可以搞跳舞视频，也可以做数字人。

近年来，生成式人工智能在图像生成领域取得了重大进展，催生了多种应用。然而，视频生成在可控性、视频长度、细节丰富度等各方面仍面临相当大的挑战，阻碍了该技术的应用和普及。在这项工作中，我们提出了一种可控视频生成框架，称为 MimicMotion，它可以在任何运动指导下生成任意长度的高质量视频。与以前的方法相比，我们的方法

有几个亮点。

首先，通过置信感知姿势指导，可以实现时间平滑性，从而可以通过大规模训练数据增强模型的连贯流畅。

其次，基于姿态置信度的区域损失放大显着减轻了图像的失真，能够显著减少生成图像中的扭曲和变形。

最后，为了生成流畅的长视频，提出了一种渐进式潜在融合策略。通过这种方式，能够在可接受的计算资源消耗下，实现任意长度视频的生成。

通过大量的实验和用户研究，MimicMotion 在多个方面比阿里的通义舞王的方法有了明显的改进。

MimicMotion代码：https://github.com/Tencent/MimicMotion

MimicMotion ComfyUI版本：https://github.com/aiFSH/ComfyUI-MimicMotion