自动Rad:使用视觉语言模型从皮层脊柱MRI生成端到端的报告
Mohammed Yeasin1, Kazi Ashraf Moinuddin1, Felix Havugimana1
1Department of EECE, The University of Memphis, Memphis, TN 38152, USA.
Journal of clinical medicine
|December 17, 2024
概括
本研究介绍了使用视觉语言模型对腰椎狭窄症 (LSS) 进行自动放射学报告生成系统. 该系统成功地从MRI扫描中生成准确的报告,可能减轻放射科医生的工作负担.
科学领域:
- 放射学中的人工智能
- 医学成像分析 医学成像分析
- 自然语言处理自然语言处理.
背景情况:
- 腰椎脊柱狭窄症 (LSS) 是慢性下背部和腿部疼痛的常见原因.
- 传统的LSS诊断依赖于放射科医生对MRI扫描进行耗时的分析.
- 需要有效的诊断工具来管理LSS患者护理.
研究的目的:
- 开发用于LSS诊断的自动放射学报告生成 (ARRG) 系统.
- 利用视觉语言 (VL) 模型来简化腰椎MRI扫描的解释.
- 为了减少与LSS报告相关的诊断工作量.
主要方法:
- 一个生成图像到文本 (GIT) 模型,从视觉问题答案 (VQA) 进行调整,为MRI报告生成进行了微调.
- 在GIT模型的训练中,使用一个精心策划的数据集 - - 带注释的腰椎脊椎MRI扫描.
- 使用GPT-4来提高文本的一致性,以提高GIT模型的理解.
主要成果:
- 该ARRG系统生成的报告是语义上准确和语法上一致的.
- 绩效指标包括METEOR (0.37),BERTScore (0.886) 和ROUGE-L (0.3). 这些指标包括:
- 结果表明该模型能够产生临床相关的诊断内容.
结论:
- 视觉语言模型显示了自动化医学成像报告生成的巨大潜力.
- 这项技术可以有效地减少放射科医生的诊断负担.
- 自动报告系统为提高LSS诊断效率提供了一个有希望的途径.
