从图像到报告:通过视觉语言模型自动化肺癌查解释和报告

科学领域:

• 医疗成像中的人工智能
• 放射学工作流的优化 工作流的优化
• 肺癌查技术 肺癌查技术

背景情况:

• 肺癌是美国癌症死亡的主要原因,需要通过低剂量计算机断层扫描 (LDCT) 查进行早期检测.
• 越来越多地采用LDCT查提高了放射科医生的工作量,并要求专门的解释技能.
• 人工智能 (AI),特别是大型语言模型 (LLM) 和视觉模型,提供了潜在的解决方案,以减少工作量并提高解读LDCT图像的准确性.

研究的目的:

• 开发和评估LUMEN,这是一款多式人工智能框架,旨在协助放射科医生进行肺癌查.
• 通过自动化结节识别,特征生成和从LDCT图像起草放射学报告来模仿放射科医生的工作流程.
• 评估人工智能生成的报告的临床准确性和实用性,使用基于肺成像报告和数据系统 (Lung-RADS) 标准的新型基准框架.

主要方法:

• 开发了LUMEN,一个多式联络AI框架,集成计算机视觉,视觉语言模型 (VLM) 和LLMs.
• LUMEN在LDCT图像中识别结节,提取其特征,并生成放射学报告草案.
• 创建了一个基准框架,以评估报告准确性与肺RADS指南相比,重点关注临床上重要的信息.

主要成果:

• 与现有的VLM系统相比,LUMEN在生成语义准确的肺癌查报告方面表现出卓越的性能.
• 开发的临床指标比标准的LLM指标更准确地反映了人工智能生成的报告的实际实用性.
• 该系统在肺癌查报告生成方面取得了无与伦比的表现.

结论:

• LUMEN成功地展示了从LDCT图像中生成临床准确的肺结节报告的可行性,使用以结节为中心的视觉问题答案 (VQA) 方法.
• 在肺癌查中,VLM和LLM的整合显示了支持和增强放射科医生的工作流程的巨大潜力.
• 强调在医疗人工智能系统的开发和验证中使用临床相关的评估指标的重要性.