医疗图像上的交互式计算机辅助诊断使用大型语言模型
Sheng Wang1,2,3, Zihao Zhao1, Xi Ouyang3
1School of Biomedical Engineering & State Key Laboratory of Advanced Medical Materials and Devices, ShanghaiTech University, Shanghai, China.
Communications engineering
|September 16, 2024
概括
将大型语言模型 (LLM) 与计算机辅助诊断 (CAD) 集成,可以显著改善医学图像分析和报告生成. 这种人工智能战略提高了医疗保健中的诊断准确性和患者沟通.
科学领域:
- 人工智能在医学中的应用
- 医学成像分析 医学成像分析
- 自然语言处理自然语言处理.
背景情况:
- 计算机辅助诊断 (CAD) 系统具有先进的医学图像分析.
- 大型语言模型 (LLM) 在临床应用中表现有前途,但在医学图像解释方面存在困难.
- 将LLMs与CAD整合起来对于提高诊断能力至关重要.
研究的目的:
- 开发一种新的战略,将LLMs与CAD网络集成在一起,以改善医疗图像分析.
- 利用LLM的医学知识和推理来增强CAD输出,如诊断,细分和报告生成.
- 创建更高质量的,对患者友好的报告,并提高基于视觉的CAD模型的性能.
主要方法:
- 开发了一个框架,将LLMs与现有的CAD网络集成在一起.
- 利用LLM来总结医疗图像信息并增强CAD输出.
- 在胸部X射线分析中使用ChatGPT和GPT-3进行自然语言总结和报告生成.
主要成果:
- 综合的LLM-CAD框架显著提高了诊断性能.
- 聊天GPT集成导致胸部X射线诊断性能提高了16.42个百分点.
- 整合GPT-3导致F1得分提高了15.00个百分点.
- 生成的报告质量更高,并提高了基于视觉的CAD模型的性能.
结论:
- 拟议的战略有效地将LLMs与CAD集成在一起,以实现更优质的医学图像分析.
- 这种方法提高了诊断的准确性,使准确的报告生成,并改善了患者的沟通.
- 该框架有可能彻底改变医疗保健机构的临床决策和患者互动.
