一致性条件记忆增强动态诊断模型用于医学视觉问题答案.

科学领域:

• 人工智能的人工智能
• 医疗成像医学成像
• 临床决策支持 临床决策支持

背景情况:

• 医学视觉问题答案 (Med-VQA) 显示出临床决策支持的潜力,但在与人类相似的推理和一致的结果方面存在困难.
• 现有的Med-VQA系统缺乏动态整合视觉信息并确保相关诊断问题的一致性的能力.

研究的目的:

• 引入一致性条件记忆增强动态诊断模型 (CoCoMeD),以获得更准确和可靠的Med-VQA.
• 通过模仿人类诊断认知过程并确保结果的一致性来增强Med-VQA.

主要方法:

• CoCoMeD使用动态内存诊断引擎来保留和更新医疗图像中的视觉线索.
• 一个以一致性为条件的执行模块在相关问题和医学事实之间施加一致性约束.
• 介绍了C-SLAKE,这是一个扩展的Med-VQA数据集,包含多种图像类型和分类的问答对进行评估.

主要成果:

• 在DME和C-SLAKE数据集上,CoCoMeD表现出卓越的性能.
• 动态内存和一致性执行器组件改善了诊断推理和结果可信度.
• 实验结果表明,CoCoMeD有潜力推进可靠的多源医疗问题答案.

结论:

• CoCoMeD通过增强动态推理和诊断一致性,有效地解决了当前Med-VQA系统的局限性.
• 拟议的模型显示了改善人工智能辅助医学诊断和临床决策的前景.
• C-SLAKE数据集有助于对Med-VQA系统进行更强大,更一致的评估.