异质的相互知识蒸用于可穿戴的人类活动识别.

科学领域:

• 计算机科学 计算机科学
• 机器学习 机器学习
• 可穿戴技术可穿戴技术

背景情况:

• 对于人类活动识别 (HAR) 的深度学习模型,在有效地将知识传输到轻量级移动设备方面面临着挑战.
• 现有的知识蒸 (KD) 方法主要集中在同质模型架构上,限制它们在异质可穿戴 HAR 场景中的应用.

研究的目的:

• 提出一种新的异构的相互知识蒸 (HMKD) 框架,专门设计用于可穿戴的人类活动识别.
• 解决现有的KD技术在异质模型设置中的局限性,以实现高效的模型压缩.

主要方法:

• 开发了一个异质的相互KD (HMKD) 框架,使教师和学生模型的中间层和输出层之间的相互学习成为可能.
• 实施加权整体特征方法来合并中间特征,促进知识交流,尽管异质模型之间的结构差异很大.

主要成果:

• 与十个最先进的KD算法相比,HMKD在HAPT,WISDM和UCI_HAR数据集中表现出卓越的性能,特别是在分类准确度方面.
• 在使用ResNetLSTMaN作为HAPT数据集上的教师时,MLP学生模型的$F_{1}$得分得到了9.19%的显著改善.

结论:

• 拟议的HMKD框架有效地弥合了穿戴式HAR的异质知识转移的差距.
• 在不牺牲性能的情况下,HMKD为将复杂的HAR模型压缩成轻量级版本的移动部署提供了一个有前途的解决方案.