今日应用
今日话题
CVPR 2024｜基于VR上半身稀疏信号的全身动作生成框架
重点标签 场景感知、人体运动估计、条件扩散模型、稀疏信号、虚拟现实
文章摘要
本文介绍了一种在虚拟现实和增强现实环境中，基于条件扩散模型的动作生成框架，用于从稀疏信号进行场景感知的人体运动估计。这项工作由上海科技大学的研究生唐江南完成，并在CVPR 2024上发表。该技术在虚拟现实和游戏交互中具有广泛的应用前景。
摘要：
在AR/VR应用中，使用头戴式显示器和手持控制器捕获的稀疏追踪信号来估算全身人体运动是至关重要的。本文提出的条件扩散模型框架通过融合场景信息与稀疏追踪信号，解决了将稀疏观测数据映射到复杂全身运动的歧义性问题。该方法首先利用周期性自动编码器提取稀疏信号中的时空关系，然后生成时间对齐特征作为附加输入，并结合场景几何和稀疏跟踪信号作为条件，通过多步采样生成准确的全身场景感知运动。此外，设计了场景穿透损失和相位匹配损失来引导采样过程，使下半身在没有跟踪信号的情况下也能生成合理连贯的动作。
背景：
随着AR/VR技术的发展，对生成逼真虚拟人的需求不断增长。然而，常见的AR/VR设备仅提供来自头戴式显示器和手持控制器的稀疏追踪信号，这使得从稀疏信号生成密集全身运动成为一个具有挑战性的任务。
方法：
本文提出的框架（S2Fusion）融合了场景信息与稀疏追踪信号。通过使用PointNet++从场景点云提取场景特征，以及使用周期自编码器从稀疏信号中提取动作周期特征，结合条件扩散模型进行多步采样，生成准确的全身场景感知运动。此外，通过设计场景穿透损失和相位匹配损失来引导采样过程，实现对下半身运动的灵活控制。
实验结果：
在GIMO和CIRCLE等不同数据集上的实验结果表明，该方法在生成效果上优于现有技术，能够生成更多相关的腿部运动，并避免不合理的场景穿透现象。
消融实验：
通过消融实验验证了模型中各个组成部分的作用，结果表明，当运动先验、场景信息和周期性自动编码器三个组件都具备时，模型达到了最佳性能。同时，探究了两种损失函数的影响，发现场景穿透损失和相位匹配损失在提高运动估计质量方面具有重要作用。
本文的研究成果不仅在理论上具有创新性，而且在实际应用中具有较高的价值，为虚拟现实和增强现实环境中的人体运动估计提供了一种有效的解决方案。
文章来源
原文地址: 点我阅读全文
原文作者: 极市平台
相关文章
