MagicColor

MagicColor

香港科技大学团开发的首个支持单次前向传播多实例集成的线稿上色框架,用户仅需上传一张黑白线稿和若干参考图像,系统便能在数秒内自动完成精准且自然的色彩填充。

#创作工具 #调色配色
收藏

MagicColor简介

MagicColor是什么?

MagicColor 是由香港科技大学(广州)提出的一款基于扩散模型的多实例线稿上色框架。用户仅需上传一张黑白线稿和若干参考图像,系统便能在数秒内自动完成精准且自然的色彩填充,同时保持多个实例之间的一致性。与传统方法相比,MagicColor 实现了一步到位的上色,大大提升设计效率。

MagicColor:香港科技大学团队开发基于扩散模型的多实例线稿自动上色框架.webp

MagicColor 核心功能

  • 一键式上色:用户只需提供线稿图像和参考图像,系统自动完成上色。

  • 多实例处理:能够自动识别并区分线稿中的多个实例(如多个角色),并为每个实例分配合适的颜色。

  • 高效生成:从上传到生成结果仅需几秒,适合快速创作场景。

MagicColor 技术原理

  • 自训练策略:解决多实例训练数据不足的问题。

  • 实例引导器:为每个实例提供颜色信息。

  • 边缘损失与细粒度颜色匹配:提高视觉质量和颜色匹配的准确性。

MagicColor 技术原理.webp

MagicColor 应用场景

  • 动漫制作:快速生成彩色角色图,提升创作效率。

  • 游戏角色设计:高效产出符合风格的角色图像。

  • 广告插图:快速生成高质量的插图。

MagicColor 应用场景.webp

MagicColor 优势

  • 细节处理:在保持图像边缘清晰度和避免颜色混淆方面表现优异。

  • 灵活性:支持多种风格的参考图像,如真人照片、动漫截图等。

  • 快速生成:从上传到完成仅需几秒,节省大量时间。

MagicColor安装使用方法

一、环境搭建

1. 创建 Python 环境:

conda create -n MagicColor python=3.10
pip install -r requirements.txt

2. 克隆仓库:

git clone https://github.com/YinHan-Zhang/MagicColor.git
cd MagicColor

二、数据准备

准备数据集,格式如下:

data/
├── dir_name
├── masks/
├── dir_name.jpg  # 线稿图像
├── dir_name_1.jpg  # 参考图像 1
├── ...

下载预训练权重(见 GitHub 说明)。

三、推理

运行推理脚本:

cd scripts
bash multi_ref_infer.sh

四、训练

运行训练脚本:

cd scripts
bash multi_ref_train.sh

五、交互界面

启动 Gradio 应用:

cd inference
python gradio_app.py

MagicColor可自动将黑白线稿转化为色彩鲜艳的图像,支持真人照片、动漫截图等多种风格参考图像,支持PNG 和 JPG 格式,大大提升动漫设计、游戏角色创作效率。

到头啦!

与MagicColor相关工具