您知道3D体育雕塑吗？使用AI检测人体2D图像并还原为3D模型

您知道3D体育雕塑吗？麻省理工学院，谷歌和加州大学伯克利分校的研究人员创建了一个名为MoSculp的AI系统，该系统可以仅通过视频输入就可以创建超现实的3D运动雕塑，并使用AI检测人体的2D图像并将其还原为3D模型.

每个人都知道的雕塑，每个人都必须看过3D电影，但是您知道3D体育雕塑吗？

简而言之，这是展示人体运动方式的独特方法. 3D运动雕塑可以形成任何对象的运动路径的3D视图. 对象的形状和运动轨迹会影响最终效果.

这些作品将雕塑与3D结合在一起，是由麻省理工学院计算机科学与人工智能实验室，谷歌研究部以及加州大学伯克利分校的研究人员创作的. 他们使用AI系统混合了这些超现实的运动和姿势.

动态图像作为输入

创作3D体育雕塑

此系统称为MoSculp，在“ MoSculp: 形状和时间的交互式可视化”一文中有详细描述. 该论文将于下个月在德国柏林的用户界面软件和技术会议（UIST）上发表.

论文的第一作者，麻省理工学院的博士生张秀明相信，这项技术可以用于为想要提高技能的运动员提供详细的体育研究.

3D体育雕塑可用于体育研究

张秀明说: “想象一下，您有一个网球比赛中费德勒的录像带，还有一个自己练习网球的录像带. 您可以使用MoSculp创建两个场景的运动雕塑，然后进行比较，更全面地研究. 您需要改进的地方. ”

具体来说，此系统的工作包含多个步骤:

首先，MoSculp可以使用CMU感知计算实验室开发的关键点实时检测库OpenPose来检测人体及其2D姿势，以估计每个帧（踝关节，肘关节）中的关键点，髋关节）等等）.

自动检测关键点

接下来，MoSculp将2D姿势还原为3D人体模型，显示人体的整体形状和人体随时间移动的姿势.

AI在3D空间中扫描此模型以创建初始运动雕塑欧式人体雕塑3d模型，但正如研究人员所指出的那样，该模型缺少纹理和结构细节，例如精细的面部结构，头发和衣服.

有一个聪明的解决方案吗？

研究人员建议将雕塑插入原始视频中，而不是将3D内容从视频映射到场景.

为防止伪影和遮挡，MoSculp估算了每个帧中人物和雕塑的深度图，并比较两者，以确定人物是比雕塑还是更原则的相机更靠近相机.

然后，MoSculp从所有帧中提取对象的前景蒙版，以细化初始深度图.

原始视频

估算模型

以下是该系统在实践中的工作方式:

将视频加载到系统中后欧式人体雕塑3d模型，MoSculp将检测到的关键点覆盖在输入帧上，并通过几个随机选择的帧对其进行验证. （内置的校正工具允许用户在必要时进行调整. ）在校正了“临时不一致检测”之后，它会生成运动雕塑并将其加载到自定义界面中.

在MoSculp中，用户可以浏览雕塑或使用3D打印机进行打印. 该系统提供的工具可让用户自定义材质，身体部位，场景背景，光照条件和其他美学特征.

MoSculp界面

目前，MoSculp仅用于单个主题的视频，但研究团队希望将其扩展到多个人. 将来，他们认为该系统可用于研究社会障碍，团队动态和人际互动.

“舞蹈和高技能的运动通常看起来像是“运动中的雕塑”，但它们只能形成短暂的，短暂的形状，” Adob​​e传播主管Courtney Brigham说.

“这项工作演示了如何使用运动并将其转化为具有客观运动可视化效果的真实雕塑，从而为运动员提供了一种只需花费一台运动相机和一些计算时间即可分析其运动的方法. ”

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/ruanjian/article-239927-1.html