培训和专业知识对深度神经网络注意力和医疗图像分类任务期间人类注意力的影响

科学领域:

• 医疗成像医学成像
• 计算机视觉 计算机视觉
• 人工智能的人工智能

背景情况:

• 从图像中做出专家决策是有效的,但人们对其了解甚少.
• 机器学习 (ML) 模型在某些任务中表现优于人类,但缺乏透明度.
• 解释ML决策至关重要,尤其是在医疗保健等高风险领域.

研究的目的:

• 在医学诊断任务中,直接比较人类视觉注意力和机器注意力.
• 通过人工注意力地图研究深度学习模型的可解释性.
• 了解ML模型的性能如何与其关注人类专家的相似性有关.

主要方法:

• 设计了一个医学诊断任务,用于在内镜图像中检测小肠病变.
• 在图像分类过程中记录了新手和胃肠科医生专家的眼睛运动.
• 在标记的数据集上训练了三种深度学习模型,并使用六种后期方法提取了人工注意力地图.

主要成果:

• 机器的注意力图与人类专家的注意力图相似,而不是与新手的注意力图相似,特别是对于病理图像.
• 模型性能提高与机器和人类专家注意力图之间的相似性增加相关.
• 该研究强调了人类专家和深度神经网络之间的共享视觉决策过程.

结论:

• 通过比较人类和机器的注意力,可以了解AI在医学诊断中的可解释性.
• 这些发现可以为医疗专业人员的培训和开发更透明的AI算法提供信息.
• 这项研究在视觉诊断任务中弥合了人类感知和人工智能之间的差距.