对齐增强的交互融合模型,用于完整和不完整的多模式手势识别

科学领域:

• 生物医学工程 生物医学工程
• 人与计算机的交互
• 机器学习 机器学习

背景情况:

• 使用表面电动图 (sEMG) 和加速度计 (ACC) 信号的手势识别 (HGR) 对于先进的接口至关重要.
• 当前的神经网络融合方法经常忽视层次交叉模式信息,导致效率低下的融合.

研究的目的:

• 为有效的多式联运高温回收提出一个新的调整增强交互融合 (AiFusion) 模型.
• 为了实现灵活和强大的HGR,用于完整和不完整的多式联运场景.

主要方法:

• 在AiFusion模型中开发了一种渐进的层次融合策略.
• 集成了两个单模分支与一个级联式基于变压器的多模融合分支.
• 雇员跨模式监督对比学习和在线蒸调整.

主要成果:

• 与最先进的基准标准相比,AiFusion在完整的多式联通HGR中表现出卓越的性能.
• 该模型在挑战不完整的多式联运HGR时显著优于单式联运基线.
• 五个公共数据集的实验验证证证了该模型的有效性.

结论:

• 对于多式联网HGR,AiFusion提供了一种有效且强大的解决方案.
• 拟议的融合战略成功地整合了层次的跨模式信息.
• 该模型处理不完整的多式联运数据的能力解决了现实世界的挑战.