腾讯混元3D

腾讯混元3D

全称为Hunyuan3D-1.0,是腾讯推出的一款同时支持文生和图生的3D开源模型,解决现有3D生成模型在生成速度和泛化能力的不足。

#行业圈子 #3D&游戏
收藏

腾讯混元3D简介

腾讯混元3D,全称为Hunyuan3D-1.0,是腾讯推出的一款同时支持文生和图生的3D开源模型,解决现有3D生成模型在生成速度和泛化能力的不足。

腾讯混元3D,Hunyuan3D.webp

腾讯混元3D生成模型基于Diffusion技术,支持文本和图像生成3D资产。该模型配备精心设计的文本和图像编码器、扩散模型及3D解码器,能够实现多视图生成、重建及单视图生成。腾讯混元3D大模型可快速生成精美3D物体,适用于多种下游应用。

腾讯混元3D技术特点与创新:

快速生成:轻量版模型能够在10秒内生成高质量的3D资产,支持快速单图生3D,10s内完成端到端生成,包括mesh,texture提取。

两阶段生成方法:Hunyuan3D-1.0采用多视图生成和多视图重建的两步流程。首先,通过多视角扩散模型合成6个不同视角的新图像,然后使用基于Transformer的稀疏视角大规模重建模型处理这些图像,最终生成3D资产。

自适应CFG技术:在多视图生成阶段,通过调整不同视角和时间步的classifier-free guidance(CFG)尺度值,确保生成的图像既接近输入又具有多样性。

开源全面性:模型权重、推理代码、算法等全部开放,提供轻量版和标准版,轻量版能在A100 GPU上约10秒生成3D资产,极大降低了3D内容创作的门槛。

强大的泛化能力:泛化能力和可控性强,可重建各类尺度物体,大到建筑,小到工具花草,适应多种创作需求。

腾讯混元3D性能与应用.gif

腾讯混元3D性能与应用:

  • 超越SOTA:在定性和定量评估中,Hunyuan3D-1.0的表现超越了其他开源模型,尤其是在生成速度和泛化能力方面。

  • 应用广泛:Hunyuan3D技术已应用于腾讯的多个业务场景,如腾讯地图的3D车标重建速度提升了91%。还有腾讯地图,基于混元3D大模型,推出了自定义3D导航车标功能,用户可以创作个性化的3D导航车标,相比传统方案,速度提升了91%,上线了“3D角色梦工厂”功能,支持个性化的3D人物生成,为用户提供了更多创作自由。

  • 行业影响:Hunyuan3D-1.0的开源为游戏开发、影视制作、虚拟现实等领域提供了强大的工具,促进了ai生成3D内容的创新和应用。

腾讯混元3D应用场景:

  • 游戏开发:生成高质量的游戏角色、道具、建筑等3D资产,大幅提升游戏开发效率

  • 影视动画:为创作者自动生成3D影视角色及动作效果,辅助完成动画创作

  • 电商广告:根据广告创意主题生成3D商品,实现互动特效,提升广告内容创意

  • 虚拟现实(VR)/增强现实(AR):生成逼真的3D虚拟环境元素及互动内容,增强沉浸式体验

腾讯混元3D生成大模型“Hunyuan3D-1.0”已于11月5日正式开源。该模型是业界首个同时支持文字、图像生成3D的开源大模型,提供轻量版和标准版两种选择。轻量版仅需10秒即可生成高质量3D资产,适用于企业及开发者的精调和部署需求。Hunyuan3D将大大促进3D资产的生成效率,为开发者提供更多的创作机会。

Github项目:https://github.com/Tencent/Hunyuan3D-1

Hugging Face:https://huggingface.co/tencent/Hunyuan3D-1

相关资讯:

腾讯混元DiT:腾讯推出的一款文本到图像生成模型

到头啦!

与腾讯混元3D相关工具