MedFMIT:一个基础模型驱动的多模式融合方法,用于图像-文本疾病诊断

科学领域:

• 人工智能在医学中的应用
• 医学成像分析 医学成像分析
• 医疗保健的自然语言处理.

背景情况:

• 整合图像和文本的多式疾病诊断模型比仅使用图像的方法提供了更高的精度.
• 当前的多式联运方式面临着图像-文本分布差异和有限的跨式联运信息交互的挑战.
• 解决这些局限性对于推进人工智能驱动的医学诊断至关重要.

研究的目的:

• 提出MedFMIT,一个新的基础模型驱动的多式联接融合模型,用于增强图像-文本疾病诊断.
• 通过使用DCA编码器有效减少医疗图像和文本之间的分发差距.
• 通过DMII模块实现视觉和文本特征之间的全面粗粒度和细粒度信息交互.

主要方法:

• 开发了MedFMIT,这是一个基础模型驱动的多式联接融合架构.
• 采用DCA编码器用于对齐视觉和文本特征提取,最大限度地减少分布差异.
• 集成了一个双模态信息交互 (DMII) 模块,用于深度功能融合.
• 在两个多模式医疗分类数据集 (CT和内镜图像) 上评估性能.

主要成果:

• 与最先进的多式联络算法相比,MedFMIT实现了更高的性能.
• 在评估的数据集上,AUC分数为92.7%和85.4%,证明了高诊断准确度.
• 有效地减少了图像-文本分布差距,并促进了强大的信息交互.

结论:

• 通过有效地融合图像和文本数据,MedFMIT显示了精确医疗诊断的巨大潜力.
• 拟议的模型架构解决了现有多式联运诊断系统的关键局限性.
• 基础模型驱动的方法为推进多式联络医疗AI提供了一个有希望的方向.