Unique3D

Unique3D

一种图像到3D框架,可以从单视图图像高效生成高质量的3D网格。具有最先进的生成保真度和强大的通用性。

#Ai工具箱 #Ai开源项目
收藏

Unique3D简介

Unique3D 在 30 秒内从单视图野生图像生成高保真、多样化纹理网格,当然运行速度取决于你的硬件资源情况。

Unique3D.jpg

Unique3D主要功能:

  • 高保真度生成:Unique3D 实现了最先进的生成保真度,可生成细致复杂的纹理和复杂的几何形状。这是通过多视图扩散模型来实现的,该模型生成正交多视图图像和相应的法线贴图。

  • 效率:框架效率高,能够在30秒内生成高保真3D网格。这种效率归功于快速前馈模型和称为 ISOMER 的即时网格重建算法的集成。

  • 一致性:Unique3D 通过使用多级升级流程逐步提高生成图像的分辨率,确保生成视图的一致性。 ISOMER 算法将颜色和几何先验集成到网格结果中,解决了先前方法中发现的不一致问题。

  • 通用性:该框架表现出很强的通用性,在各种不同风格的野生2D图像上表现良好。大量实验证明了这一点,这些实验表明 Unique3D 在保真度、几何细节和分辨率方面优于现有方法。

  • 多级升级策略:Unique3D采用多级升级策略来逐步增强生成图像的分辨率。这涉及微调多视图感知 ControlNet 并使用超分辨率模型来实现高分辨率输出。

  • 法线贴图预测:为了捕捉丰富的表面细节,Unique3D 使用法线扩散模型来预测与多视图彩色图像相对应的法线贴图。这提高了几何细节的准确性,尤其是边缘处。

  • ExplicitTarget 优化:为了解决多视图不一致问题并细化几何细节,Unique3D 引入了 ExplicitTarget 优化。该方法为每个顶点分配唯一的优化目标,比传统方法更稳健地指导优化方向。

Unique3D特征:

  • 在 30 秒内生成高保真纹理网格。

  • 5 天内仅使用 8 个 RTX4090 GPU 进行训练。

  • 利用多视图扩散模型和法线扩散模型来生成多视图图像和法线贴图。

  • 采用多级升级流程来提高分辨率。

  • 使用 ISOMER 进行即时且一致的网格重建。

Unique3D由清华大学和AVAR Inc.的研究团队共同开发。

Unique3D官网入口:

Unique3D 在线使用:https://huggingface.co/spaces/Wuvin/Unique3D

Unique3D 项目地址:https://wukailu.github.io/Unique3D/

Unique3D Github:https://github.com/AiuniAI/Unique3D

与Unique3D相关工具