Hi3DGen：从2D图像生成高保真3D几何模型的框架

Hi3DGen是什么？

Hi3DGen 是一种从 2D 图像生成高保真 3D 几何模型的框架。它通过法线图作为中间表示，结合图像到法线的估计器和法线到几何的学习方法，提升生成保真度。此外，它还构建了高质量合成数据集 DetailVerse 支持训练。实验显示，Hi3DGen在生成丰富几何细节方面表现非常不错，适用于虚拟现实、游戏开发等场景。

Hi3DGen功能特征

• 高保真 3D 生成：通过法线图作为中间表示，结合先进的估计器和学习方法，能够从 2D 图像生成高保真、细节丰富的 3D 几何模型。

• 强大的泛化能力：采用双流训练策略，解耦图像的低频和高频模式，使得模型在不同输入条件下都能稳定输出高质量结果。

• 高效的几何监督：通过法线正则化的潜在扩散学习方法，为 3D 几何生成提供明确的监督信号，显著提升生成精度。

• 高质量数据支持：配备 DetailVerse 合成数据集，包含复杂几何结构和丰富细节，为模型训练提供充足的数据支持。

Hi3DGen框架组成

• 图像到法线的估计器（NiRNE）：通过噪声注入和双流训练，解耦图像的低频和高频模式，从而实现泛化能力强、稳定且清晰的法线估计。

• 法线到几何的学习方法（NoRLD）：采用法线正则化的潜在扩散学习方法，在训练过程中提供明确的 3D 几何监督，显著提高生成保真度。

• 3D 数据合成管道：构建了一个名为 DetailVerse 的高质量合成 3D 数据集，用于支持框架的训练。

Hi3DGen技术优势

• 利用法线图作为中间表示：法线图编码了表面方向信息，可以有效缓解合成训练数据与实际应用之间的域差距，并为几何学习提供更清晰的几何线索。

• 双流训练策略：通过解耦低频和高频图像模式的学习，NiRNE 能够在保持稳定性的同时生成更清晰的法线图。

• 高质量合成数据集：DetailVerse 数据集包含复杂的几何结构和丰富的表面细节，有助于训练出更精确的模型。

Hi3DGen应用场景

• 虚拟现实（VR）与增强现实（AR）：从 2D 图像快速生成逼真的 3D 场景和物体模型。

• 游戏开发：用于从概念图或现有 2D 资产快速生成游戏中的 3D 模型。

• 建筑设计与可视化：从建筑图纸或照片生成 3D 建筑模型，帮助设计师快速生成设计效果。

• 影视特效与动画制作：快速生成复杂的 3D 场景和道具模型，节省建模时间。

• 文化遗产保护：从文物照片生成高保真 3D 模型，用于数字化保存和展示。

Hi3DGen如何使用？

1. 访问Hi3DGen在线演示：https://huggingface.co/spaces/Stable-X/Hi3DGen

2. 上传单张或多张图片

3. 点击”Generate Shape”按钮，然后等待生成

4. 使用”Export Mesh”功能导出不同格式的3D素材

项目主页：https://stable-x.github.io/Hi3DGen/

在线演示：https://huggingface.co/spaces/Stable-X/Hi3DGen

GitHub代码库：https://github.com/Stable-X/Hi3DGen

论文：https://stable-x.github.io/Hi3DGen/hi3dgen_paper.pdf