几何深度神经网络使用刚性和非刚性转换用于基于地标的人类行为分析

科学领域:

• 计算机视觉 计算机视觉
• 机器学习 机器学习
• 几何深度学习 几何深度学习

背景情况:

• 深度学习模型通常假定欧几里得数据结构,这可能不适用于位于非线性空间的预处理运动数据.
• 使用地标分析人类运动需要能够处理复杂,非线性数据配置的方法.

研究的目的:

• 提出KShapenet,一个新的几何深度学习框架,用于基于2D和3D地标的人类运动分析.
• 为解决欧几里德深度学习架构对非线性运动数据的局限性.

主要方法:

• 将地标配置序列作为Kendall形状空间上的轨迹建模.
• 将形状空间轨迹映射到线性触点空间,用于结构化数据表示.
• 采用深度学习架构,一个层优化刚性/非刚性转换,其次是CNN-LSTM网络.

主要成果:

• KShapenet在动作和步态识别的3D人类地标序列上表现出了竞争力的表现.
• 该方法在表情识别中的2D面部里程碑序列中取得了最先进的结果.

结论:

• 几何深度学习,特别是KShapenet,为分析复杂的人类运动数据提供了强大的替代方案.
• 该方法有效地处理里程碑数据中的非线性,推进人类运动分析领域.