医学成像中的多模式大语言模型:当前状态和未来方向
Yoojin Nam1,2, Dong Yeong Kim1,3, Sunggu Kyung1,4
1Department of Convergence Medicine, University of Ulsan College of Medicine, Asan Medical Center, Seoul, Republic of Korea.
Korean journal of radiology
|September 28, 2025
概括
多模式大语言模型 (MLLMs) 在放射学中显示出对报告生成和诊断等任务的希望. 然而,临床整合必须解决数据可用性,透明度和计算需求方面的挑战.
科学领域:
- 人工智能在医学中的应用
- 医学成像分析 医学成像分析
- 放射学 信息学 信息学
背景情况:
- 多模式大语言模型 (MLLMs) 正在成为医学,特别是放射学中强大的AI工具.
- 它们将大型语言模型 (LLM) 与各种数据集成,包括临床文本和各种放射性图像 (X射线,CT,MRI).
研究的目的:
- 审查MLLM在医学中的现有能力和局限性,重点是放射学.
- 概述MLLMs未来研究和临床整合的关键方向.
主要方法:
- 审查目前的MLLM在放射学中的应用,包括报告生成,视觉问题答案和诊断支持.
- 分析多式联运一体化的方法和LLM进步的影响.
主要成果:
- 许多MLLM显示了自动化初步放射学报告和辅助诊断的潜力.
- 显著的挑战包括大规模医疗多式联络数据集的稀缺性,幻觉发现的风险,缺乏透明度和高计算成本.
结论:
- 未来的研究应该专注于基于地区的推理,开发强大的基础模型,并建立安全的临床整合策略.
- 解决目前的局限性对于MLLM在临床放射学实践中的广泛采用至关重要.


