
MagicColor
MagicColor简介
MagicColor是什么?
MagicColor 是由香港科技大学(广州)提出的一款基于扩散模型的多实例线稿上色框架。用户仅需上传一张黑白线稿和若干参考图像,系统便能在数秒内自动完成精准且自然的色彩填充,同时保持多个实例之间的一致性。与传统方法相比,MagicColor 实现了一步到位的上色,大大提升设计效率。
MagicColor 核心功能
一键式上色:用户只需提供线稿图像和参考图像,系统自动完成上色。
多实例处理:能够自动识别并区分线稿中的多个实例(如多个角色),并为每个实例分配合适的颜色。
高效生成:从上传到生成结果仅需几秒,适合快速创作场景。
MagicColor 技术原理
自训练策略:解决多实例训练数据不足的问题。
实例引导器:为每个实例提供颜色信息。
边缘损失与细粒度颜色匹配:提高视觉质量和颜色匹配的准确性。
MagicColor 应用场景
动漫制作:快速生成彩色角色图,提升创作效率。
游戏角色设计:高效产出符合风格的角色图像。
广告插图:快速生成高质量的插图。
MagicColor 优势
细节处理:在保持图像边缘清晰度和避免颜色混淆方面表现优异。
灵活性:支持多种风格的参考图像,如真人照片、动漫截图等。
快速生成:从上传到完成仅需几秒,节省大量时间。
MagicColor安装使用方法
一、环境搭建
1. 创建 Python 环境:
conda create -n MagicColor python=3.10 pip install -r requirements.txt
2. 克隆仓库:
git clone https://github.com/YinHan-Zhang/MagicColor.git cd MagicColor
二、数据准备
准备数据集,格式如下:
data/ ├── dir_name ├── masks/ ├── dir_name.jpg # 线稿图像 ├── dir_name_1.jpg # 参考图像 1 ├── ...
下载预训练权重(见 GitHub 说明)。
三、推理
运行推理脚本:
cd scripts bash multi_ref_infer.sh
四、训练
运行训练脚本:
cd scripts bash multi_ref_train.sh
五、交互界面
启动 Gradio 应用:
cd inference python gradio_app.py
MagicColor可自动将黑白线稿转化为色彩鲜艳的图像,支持真人照片、动漫截图等多种风格参考图像,支持PNG 和 JPG 格式,大大提升动漫设计、游戏角色创作效率。