AnyDressing:通过潜在扩散模型实现可定制的多服装虚拟穿衣
AnyDressing是字节跳动和清华大学提出的一种基于潜在扩散模型的可定制多服装虚拟试穿方法,AnyDressing由GarmentsNet和DressingNet两个主要网络组成,分别用于提取详细的服装特征和实现多服装的虚拟穿搭,AnyDressing可以应用于多种虚拟试衣场景,包括现实和风格化的场景,提供用户定制化的虚拟试衣体验。
AnyDressing主要功能:
多服装组合试穿:用户可以同时试穿多件衣服,系统能够处理复杂的服装组合,确保每件衣服的细节和贴合度都得到良好呈现。
个性化定制:用户可以根据自己的需求,通过提供参考服装和文本提示,定制化试穿效果。这种个性化的功能使得用户能够根据自己的风格和喜好进行选择。
高质量图像生成:AnyDressing利用先进的图像生成技术,能够生成逼真的虚拟试穿图像,帮助用户更好地理解服装在自己身上的效果。
适用场景广泛:该技术可以应用于时尚零售、在线购物、社交媒体等多个领域,提升用户的购物体验和满意度。
研究与开发:AnyDressing目前处于研究阶段,由字节跳动和清华大学的研究团队共同开发,主要面向学术研究和效果展示,尚未正式商业化。
AnyDressing技术架构:
AnyDressing的技术架构包括两个主要网络:GarmentsNet和DressingNet。GarmentsNet负责提取详细的服装特征,而DressingNet则生成定制化的图像。GarmentsNet中引入的服装特征提取器能够并行编码多个服装的纹理,避免了服装混淆,同时确保网络的高效性。DressingNet则采用自适应的注意力机制和实例级服装定位学习策略,准确地将多服装特征注入到相应区域,从而提高生成图像的多样性和可控性。此外,AnyDressing还引入了增强纹理学习策略,以改善服装的细节表现。该技术的实验结果显示,AnyDressing在多服装虚拟试穿任务中达到了最先进的效果,具有很高的实用价值和研究潜力。
AnyDressing 的设计解决了现有技术在多服装合成时面临的挑战,如服装保真度、文本一致性以及与社区控制扩展的兼容性问题。它通过自适应的 Dressing-Attention 机制和实例级服装定位学习策略,精确地将服装特征融入到正确的位置,同时通过服装增强纹理学习策略来提升细节质量,确保生成的虚拟服装具有高度的逼真感。
AnyDressing相关链接:
项目官网:https://crayon-shinchan.github.io/AnyDressing/
HuggingFace: https://huggingface.co/papers/2412.04146
代码:https://github.com/Crayon-Shinchan/AnyDressing
论文:https://arxiv.org/abs/2412.04146