一个视觉语言引导的多模式融合网络用于状腺癌早期诊断:模型开发和验证研究

科学领域:

• 人工智能在医学中的应用
• 医学成像分析 医学成像分析
• 医疗保健的自然语言处理.

背景情况:

• 喉癌 (GC) 的早期诊断对于患者的预后至关重要,但由于与良性疾病的视觉相似性以及在服务不足的地区对专业知识的获取有限,仍然具有挑战性.
• 当前的诊断方法与微妙的形态差异作斗争,需要先进的技术解决方案来提高准确性和可访问性.

研究的目的:

• 开发和验证一种新的视觉语言多式模式模型,VLMF-Net,用于高效和准确的喉癌早期诊断.
• 克服现有技术在检测早期GC的局限性,特别是在资源有限的环境中.

主要方法:

• 设计了一个视觉语言引导的多式融合网络 (VLMF-Net),集成一个用于文字处理的大型语言模型 (LLaMa) 和用于喉镜图像分析的视觉变压器.
• 使用Q-Former模块实现了跨模式对齐,随后进行了功能融合,以深入整合文本和图像数据,以实现自动分类诊断.
• 模型性能与基线方法 (CLIP,BLIP-2,ALIGN,VILT) 相比,使用包括准确性,回忆,精度,F1得分和AUC在内部和外部测试集中的指标进行了评估.

主要成果:

• 在内部测试组中,VLMF-Net的准确率达到77.6%,比最佳基线 (BLIP-2为71.5%) 的表现高出6.1个百分点.
• 在外部测试组中,VLMF-Net表现出强的性能,准确率为73.9%,超过第二好的模型 (BLIP-2为69.3%) 4.6个百分点.
• 结果表明VLMF-Net具有卓越的诊断能力和强大的泛化能力,用于早期发现喉癌.

结论:

• 该VLMF-Net模型提供了一个有效的解决方案,用于早期诊断喉癌.
• 这种由人工智能驱动的方法解决了早期GC检测的关键挑战,提高了诊断效率和准确性.