Follow-Your-Emoji：一个肖像动画项目

Follow-Your-Emoji，由港科大、腾讯混元、清华共研，基于扩散模型共同开发，将目标表情或动作应用到参考肖像上，并保持肖像的身份特征、动作连贯性及逼真度。通过提取视频人物的面部特征，特别是面部细节和瞳孔动态，来生成新的面部动画。

你只需给定一张照片，Follow-Your-Emoji就能将其转化为活灵活现的面部动画。，同时能够捕捉微妙表情变化。

Follow-Your-Emoji可以实现使用单一的驱动视频或动作序列来驱动多个不同的参考头像生成动画。每个参考头像都会按照同一个动作序列表现出相同的动作和表情变化。也可以使用单一的参考头像+多个不同的驱动视频生成多段动画。每个动作序列都会让同一个参考头像表现出不同的动作和表情变化。

Follow-Your-Emoji功能特征：

• 身份保持：在动画生成过程中，能确保参考头像的身份特征不会丢失，确保你的形象始终如一。

• 表情丰富：生成各种夸张和细微的表情，如大幅度的瞳孔运动，无论是细微的眼部动态还是夸张的表情变化。

• 风格多样化：支持多种风格的头像动画，无论卡通、现实人物、雕塑还是动物风格的动画等。

• 动画稳定持久：使用渐进生成策略，确保长时间动画的稳定性和一致性。

这项技术的主要难点在于，在动画过程中始终保持参考头像的身份特征不会丢失，同时又要传递目标表情，并确保时间上的连贯性和逼真度。

为了解决这个问题，Follow-Your-Emoji采用两种关键技术：一个是使用一种新的显式动作信号——表情感知的关键点来指导动画过程。这种关键点可以确保在推理过程中参考头像与目标动作之间的准确对齐，并且增强了表现夸张表情（例如，瞳孔的大幅度运动）的能力，同时避免了身份信息的泄露。另外一个是提出了一种面部细粒度损失函数，通过使用表情和面部掩码来提高模型对微妙表情变化和参考头像外观重建的能力。

Follow-Your-Emoji非常适合那些需要进行人像动画制作的专业人士和爱好者，包括动画设计师、视频制作者、游戏开发者等。

论文地址：https://arxiv.org/html/2406.01900v1

Follow-Your-Emoji项目地址：https://follow-your-emoji.github.io/