用于手语识别模型的可解释AI:集成Grad-Cam LIME和集成梯度
Fatima-Zahrae El-Qoraychy1, Yazan Mualla1, Hui Zhao2
1Université de Technologie de Belfort Montbéliard, UTBM, CIAD UR 7533, Belfort, France.
PloS one
|December 10, 2025
概括
这项研究使用手罩和可解释的人工智能 (XAI) 增强了手语识别. 基于口罩的模型通过专注于手部结构来提高准确性,使辅助技术更可靠.
科学领域:
- 计算机科学 计算机科学
- 人工智能的人工智能
- 人与计算机的交互
背景情况:
- 识别手语对于听力和聋人社区之间的沟通至关重要.
- 现有的模型往往在噪音方面扎,缺乏透明度.
研究的目的:
- 增强基于VGG19的手语分类模型的稳定性和可解释性.
- 使用手罩引入基于细分的方法,并通过可解释的人工智能 (XAI) 验证它.
主要方法:
- 数据集增强和替代数据表示.
- 基于细分的方法使用U-Net生成手罩,取代深度图像.
- 可解释的人工智能 (XAI) 方法,包括Grad-CAM,LIME和集成梯度用于模型解释.
主要成果:
- 基于面具的模型通过专注于手形状和结构,与深度图像相比,证明了更好的分类准确性.
- 对比分析显示,RGB模型捕捉了纹理/颜色,而基于面具的模型专注于基本的手部特征.
- XAI方法验证了结果,突出了有影响力的图像区域,并使多视角分析成为可能.
结论:
- 改进的模型提高了美国手语识别的概括性和可解释性.
- 基于口罩的方法与XAI集成增加了辅助技术的透明度和可靠性.
- 这项研究促进了对手语识别系统的更大的信任和可用性.
