伊拉姆:潜伏和注意特征的交叉融合,用于可解释的医学图像分类
IEEE journal of biomedical and health informatics
|April 14, 2025
概括
我们开发了综合潜伏和注意力映射 (ILAM) 框架,以改善医疗图像分析. ILAM通过结合本地和全球特征来提高人工智能 (AI) 模型的准确性和可解释性,以提高可解释性.
科学领域:
- 人工智能的人工智能
- 医疗成像医学成像
- 计算机视觉 计算机视觉
背景情况:
- 准确和可解释的AI模型对于医学图像分析至关重要.
- 现有的可解释AI (XAI) 方法往往遭受不一致的解释性.
- 需要人工智能框架来提高医学成像中的分类准确性和可解释性.
研究的目的:
- 引入综合潜伏和注意力映射 (ILAM) 框架.
- 提高医疗图像分析中的AI模型的准确性和可解释性.
- 为医疗图像分类提供强大的和可解释的解决方案.
主要方法:
- ILAM使用自定义自动编码器 (AE) 和视觉转换器 (ViT) 融合了本地和全球特征表示.
- 该AE通过在潜伏空间的无监督补丁智能图像重建来学习细粒度的局部特征.
- 一个修改的注意力推广机制通过聚合潜伏特征和注意力权重来改进可解释性,以获得稳定的激活地图.
主要成果:
- 与ViT,DeiT,CvT和SwinT相比,ILAM在BreakHis,胸部X射线和视网膜数据集上表现出更好的表现.
- 该框架始终生成详细可靠的激活地图,增强关键图像区域的可视化.
- ILAM实现了更好的分类准确性和后期解释性.
结论:
- ILAM框架有效地结合了本地和全球特征融合,以实现强大的医疗图像分类.
- 与现有的基于变压器的模型相比,ILAM提供了更高的准确性和更高的解释性.
- 在医学图像分析中,ILAM为开发可靠和可理解的AI提供了一个有前途的解决方案.
