今日应用
今日话题
Human-Human Motion Generation新SOTA！腾讯优图实验室提出TIM
文章摘要
极市导读
腾讯优图实验室提出的TIM在InterHuman和InterX数据集上达到了SOTA效果，使用InterGen方法32%的训练参数。TIM利用RWKV对双人运动序列进行时序和因果建模，设计了两种有效的序列建模方式和局部运动模式增强，生成更平滑自然的运动。TIM在两个数据集上均达到SOTA效果，展示了其有效性。
背景
之前的双人运动生成方法未能考虑人与人交互过程中运动的内在属性。本文提出了Temporal and Interactive Modeling (TIM)，将RWKV应用于双人运动生成，考虑运动序列的时间因果属性和两人交互过程中的主动被动关系。
方法
TIM的整体架构包括Causal Interactive Injection、Role-Evolving Scanning和Localized Pattern Amplification Module。Causal Interactive Injection将两个单人运动序列建模为因果交互序列，注入RWKV层。Role-Evolving Mixing根据文本语义和运动上下文自适应调整互动过程中的主动被动角色。Localized Pattern Amplification通过捕捉每个人的短期运动模式，生成更平滑合理的运动。
实验结果
在InterHuman和InterX数据集上，TIM在多个度量指标上达到最优表现。计算复杂度方面，TIM的参数量和FLOPs均少于InterGen，FID超出1.216。在运动编辑任务中，TIM在所有度量指标上超越InterGen。
总结
TIM为Human-human motion generation提供了一个有效的解决方案，利用RWKV对双人运动序列进行时序和因果建模，设计了有效的序列建模方式和局部运动模式增强，生成更平滑自然的运动。
文章来源
原文地址: 点我阅读全文
原文作者: 极市平台
相关文章
