互曼巴:高效的人与人互动生成与自适应的时空曼巴

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 人与计算机的交互

背景情况:

• 人与人互动的产生对于理解社会行为至关重要,是运动合成的关键领域.
• 现有的以变压器为基础的方法在产生复杂的人类互动时,在可扩展性和效率方面扎.
• 需要先进的模型,能够有效地捕捉运动数据中的远程依赖性.

研究的目的:

• 提出InterMamba,一种新且高效的方法来产生人与人之间的互动.
• 利用Mamba框架来更好地捕捉长序列依赖关系和实时反.
• 提高社会互动运动合成的质量和效率.

主要方法:

• 引入了一个自适应的时空Mamba框架,具有平行SSM分支,用于整合空间和时间运动特征.
• 开发了自适应和交叉适应的时空Mamba模块,以捕获序列内和序列间的运动依赖性.
• 利用Mamba架构来高效处理长时间的动作序列.

主要成果:

• 在两个人与人互动数据集上实现了最先进的性能.
• 在生成的动作序列中表现出了卓越的质量和效率.
• 将模型参数大小减少到66M (基线InterGen的36%) 并实现InterGen的推断时间的46%.

结论:

• 在人与人互动生成方面,InterMamba比现有的方法提供了显著的改进.
• 基于Mamba的框架为复杂的运动合成提供了可扩展和高效的解决方案.
• 拟议的方法可以实现高质量,实时生成人类社会互动.