HSMR：从单张图像重建人体3D骨架和网格模型的新方法

HSMR 是什么？

HSMR 是一种计算机视觉和深度学习技术，可以从单目或多目图像中恢复人体的骨架结构和三维网格模型。 这项技术在虚拟现实、增强现实、游戏开发和运动分析等场景有很广泛的应用。

方法

• 模型架构：HSMR 采用基于 Transformer 的架构，输入为单张人体图像，输出为 SKEL 模型的姿势参数 q 和形状参数 β。

• 数据生成与训练：

  由于缺乏足够的训练数据，作者构建了一个生成伪真实数据的流程，并通过迭代优化的方式逐步改进这些伪标签。

  在训练过程中，通过优化 HSMR 的估计结果以对齐真实二维关键点（SKELify），并使用优化后的参数作为后续训练的监督目标。

• 生物力学准确性：SKEL 模型具有生物力学上合理的自由度，能够更真实地估计关节旋转，避免了传统方法中常见的关节角度限制违反问题。

功能特征

• 端到端的单图像重建：HSMR能够直接从单张图像中恢复出人体的骨架参数，这是首个实现此类功能的方法。

• 生物力学准确性：采用SKEL参数化人体模型，该模型基于生物力学准确的骨架设计，能够提供更符合人体生理结构的关节旋转估计，避免了传统方法中常见的不自然旋转和生物力学不准确的问题。

• 伪真实数据生成与迭代优化训练：为了解决训练数据不足的问题，HSMR构建了一个生成伪真实数据的流程，并通过迭代优化的方式逐步改进这些伪标签，以提高模型的训练精度。

• Transformer架构：使用基于Transformer的架构来处理输入图像，估计SKEL模型的姿势参数和形状参数，能够更好地捕捉图像中的复杂特征和人体姿态信息。

应用场景

• 虚拟现实与增强现实:提供更真实的交互体验，用于游戏、培训和模拟训练。

• 运动分析与生物力学:分析运动员的动作，优化训练方法和设备设计。

• 医疗诊断与康复:辅助医生进行姿势评估和疾病诊断，帮助患者进行康复训练。

实验结果

• 性能对比：HSMR 在标准基准测试中与最先进的方法相比具有竞争力，并且在极端三维姿态和视角设置下显著优于其他方法。

• 可视化结果：通过相机视角和侧面视角的可视化展示了 HSMR 的重建效果，证明了其在不同视角下的鲁棒性。

相关链接

项目主页：https://isshikihugh.github.io/HSMR/

Github地址：https://github.com/IsshikiHugh/HSMR

Huggingface：https://huggingface.co/spaces/IsshikiHugh/HSMR

论文：https://arxiv.org/abs/2503.21751