一个微小的惯性变压器通过多式知识蒸和可解释的AI来识别人类活动.

科学领域:

• 计算机科学 计算机科学
• 人工智能的人工智能
• 机器学习 机器学习

背景情况:

• 准确和可解释的人类活动识别 (HAR) 对医疗保健,健身和智能环境至关重要.
• 在资源受限的边缘设备上部署HAR模型,由于计算限制,会带来重大挑战.

研究的目的:

• 推出XTinyHAR,一个新的,轻量级的,基于变压器的单模式框架,用于人类活动识别.
• 通过跨模式知识蒸,在边缘设备上实现高效和可解释的HAR.

主要方法:

• 开发了XTinyHAR,一个单模变压器框架,利用时间定位嵌入和注意力推出.
• 从多式模式的教师培训模型中提取雇佣的跨模式知识.
• 在UTD-MHAD和MM-Fit数据集上评估性能.

主要成果:

• 实现了高测试准确率98.71% (UTD-MHAD) 和98.55% (MM-Fit) 的F1分数匹配.
• 通过0.98.8以上的科恩卡帕,证明了出色的解释性.
• 模型大小为2.45 MB,具有快速推断 (3.1 ms CPU, 1.2 ms GPU) 和低计算成本 (11.3M FLOPs).

结论:

• XTinyHAR为边缘设备上的实时 HAR 提供了一种高性能,可解释和可部署的解决方案.
• 废弃性研究验证了单个模型组件的有效性.
• 各个学科的评估证实了不同用户之间强大的概括能力.