从运动到指标:评估基于骨架的人类活动识别中的可解释的人工智能方法
Kimji N Pellano1, Inga Strümke2, Espen A F Ihlen1
1Department of Neuromedicine and Movement Science, Faculty of Medicine and Health Sciences, Norwegian University of Science and Technology, 7034 Trondheim, Norway.
Sensors (Basel, Switzerland)
|March 28, 2024
概括
这项研究评估了基于骨架的人类活动识别 (HAR) 的可解释AI (XAI) 度量. 对于EfficientGCN模型来说,稳定性被证明比忠实性更可靠,这凸显了在HAR中需要不同的XAI方法.
科学领域:
- 人工智能的人工智能
- 计算机视觉 计算机视觉
- 机器学习 机器学习
背景情况:
- 使用3D骨架数据进行人类活动识别 (HAR) 的深度学习对于医疗保健,安全和HCI至关重要.
- 在基于骨架的HAR中,评估可解释AI (XAI) 指标的可靠性存在差距.
研究的目的:
- 评估基于骨架的HAR的类激活映射 (CAM) 和梯度加权类激活映射 (Grad-CAM) 上建立的XAI指标 (忠实性,稳定性) 的适用性和可靠性.
- 引入一种新的扰动方法,用于测试XAI对传感器噪声的测量强度,在人类运动误差公差范围内.
主要方法:
- 使用NTU RGB+D 60数据集和EfficientGCN架构进行HAR模型训练和测试.
- 将系统性扰动方法应用于3D骨架数据,引入可控位移以评估XAI度量表现.
- 在多个行动类中评估CAM和Grad-CAM解释的忠实性和稳定性指标.
主要成果:
- 忠诚度在EfficientGCN模型的行动类别中显示出不一致的可靠性.
- 稳定性成为一个更强大,更可靠的XAI指标,跨越不同的扰动大小.
- CAM和Grad-CAM产生了非常相似的解释和指标结果.
结论:
- 在基于骨架的HAR中,忠诚度作为唯一的XAI评估指标可能具有有限的适用性.
- 稳定性是评估XAI在这个领域的更可靠的指标.
- 对各种XAI方法和指标的进一步研究是必要的,以便在基于骨架的HAR中进行全面评估.
