ECSA:在医学视觉问题答案中缓解灾难性遗忘和少数镜头概括

科学领域:

• 人工智能的人工智能
• 医疗信息学 医疗信息学
• 计算机视觉 计算机视觉

背景情况:

• 医学视觉问题答案 (Med-VQA) 有助于临床诊断,但在短暂的概括和灾难性遗忘方面面临挑战.
• 现有的Med-VQA研究往往孤立地解决这些问题,缺乏统一的方法.

研究的目的:

• 提出一个新的框架,即可演变的临床语义对齐 (ECSA),以协同方式解决Med-VQA中的少数射击概括和灾难性遗忘.
• 通过改进Med-VQA能力来提高诊断效率和准确性.

主要方法:

• ECSA利用了强大的预训练模型 (BiomedCLIP,Flan-T5) 并引入了两个核心模块:临床语义解歧义模块 (CSDM) 和基于提示的知识巩固模块 (PKC).
• 对于对比学习来说,CSDM采用了被删除的硬负面挖掘,以改善少数射击和长尾场景中的代表性.
• 通过使用动态软提示,PKC作为一个没有排练的存储器来巩固历史知识,防止灾难性的遗忘.

主要成果:

• 在基准数据集上,ECSA取得了最先进的或具有竞争力的表现:VQA-RAD (80.15%准确率),SLAKE (85.10%准确率),PathVQA (64.57%准确率) 和VQA-Med-2019 (82.23%准确率).
• 该框架在各种数据集中展示了强大的概括能力.
• 在持续学习中,ECSA的遗忘率很低,为13.50%,突出了其知识保留优势.

结论:

• 该ECSA框架有效地解决了Med-VQA的关键局限性,改善了短暂的学习和知识保留.
• 埃克萨显示出开发强大和可变的临床决策支持系统的巨大潜力.