今日应用
今日话题
ACM MM 2024｜基于二维先验学习的三维人-物交互重建
重点标签 tag1、三维重建、tag2、二维监督、tag3、人-物交互、tag4、归一化流模型、tag5、WildHOI数据集
文章摘要
极市导读：本文提出了一种二维监督方法，从野外的二维图像中学习三维人体-物体空间关系的先验知识。
摘要：本文介绍了一种从大规模二维图片中学习三维环境中人和物体交互先验的方法。该方法利用基于归一化流模型的神经网络学习数据集中每张图像的人体-物体关键点布局和摄像机视角的先验分布。通过在后优化阶段应用该先验来微调人体和物体之间的相对姿态，证明了从二维图像中学习到的先验的有效性。
问题定义：单目人-物联合重建的目的在于从输入图片中恢复出人体和物体的三维信息。将这个问题建模为概率密度预测而不是单峰估计更为合适，因此该问题目标在于给出概率密度分布。
基于归一化流的先验学习算法：使用归一化流模型来对概率密度分布进行建模，通过最小化对应的负对数似然来进行训练。
基于二维先验的重建算法：在给定物体形状模板的前提下，从单视角图片中重建人体和物体的任务。本文的重建方法采用了预测-优化两阶段的算法框架来从给定的图片中重构出参数。
自然场景人-物交互数据集：本文构建了WildHOI数据集，包含从YouTube网站上收集的包含各种自然场景中人-物交互的视频数据。
实验结果及分析：在室内BEHAVE数据集和三维监督的方法相比，本文所提出的方法达到了和三维监督的方法近乎相同的重建精度。在自然场景WildHOI数据集中，本文所提出的方法在各项指标均优于PHOSA。
定性分析：本文所提出的方法能够精确重建出人体和物体之间的空间关系，在不同场景中表现良好。
总结：本文探讨了如何从自然场景的二维图像中学习人和物体之间的空间关系的强先验。通过大量实验，展示了即使在不使用任何三维标注或者人体和物体之间三维空间关系的常识的前提下，本文所提出的方法可以在室内实验室场景下构建BEHAVE数据集和室外场景的WildHOI数据集上取得很好的结果。然而，本文所提出的工作仍然存在一些局限性，包括假设物体的形状是已知的，严重依赖于大量的二维标注数据，以及学习的是实例级别的先验而不是类别级先验。
文章来源
原文地址: 点我阅读全文
原文作者: 极市平台
相关文章
