提高医疗图像报告生成使用自助增强多式联运调整框架
Aqib Nazir Mir1, Danish Raza Rizvi1, Iqra Nissar1
1Department of Computer Engineering, Jamia Millia Islamia, New Delhi, 110025 India.
Health information science and systems
|September 29, 2025
概括
本研究介绍了一种自动增强的多式联运调整框架,用于自动化医疗图像报告生成. 人工智能模型在各种医学成像数据集中提高了诊断报告的准确性和临床相关性.
科学领域:
- 医疗成像中的人工智能
- 医疗保健的自然语言处理.
- 计算机视觉应用程序 计算机视觉应用
背景情况:
- 自动化医学图像分析对于高效的诊断至关重要.
- 医疗图像报告生成的现有方法在准确性和临床相关性方面面临挑战.
- 深度学习的进步,特别是视觉转换器和BERT,提供了新的可能性.
研究的目的:
- 为自动化医疗图像报告生成引入一种新型的自我提升的多式联运调整框架.
- 提高人工智能生成的诊断报告的连贯性,临床相关性和准确性.
- 与最先进的方法相比,证明框架的优越性能.
主要方法:
- 开发了一个双分支架构,集成报告生成和图像-文本匹配模块.
- 使用视觉转换器和BERT模型用于特征提取和文本生成.
- 通过模块之间的合作互动,利用了一种自我提升的机制来代性地提高性能.
主要成果:
- 在IU-Xray (BLEU-4: 0.316,CIDEr: 0.441) 和MIMIC-CXR (BLEU-4: 0.172,ROUGE-L: 0.321) 等基准数据集上实现了最先进的性能.
- 在各种医学成像模式中,在专业数据集 (DDSM,GTEx) 上展示了强大的概括能力.
- 废弃性研究证实了自我提升模块对整体性能的关键贡献.
结论:
- 拟议的自我提升的多式联运调整框架显著提高了自动化医疗图像报告生成.
- 该框架提供了一个可扩展,可靠和可适应的解决方案,用于改善临床环境中的诊断工作流程.
- 这种人工智能驱动的方法有望提高医疗报告的效率和一致性.
