通过利用网络规模的2D和3D医疗数据,实现放射学的通用基础模型

科学领域:

• 医学的人工智能
• 医学成像分析
• 基础模型

背景情况:

• 人工智能在放射学领域的整合正在迅速推进.
• 现有的模型往往缺乏各种放射学任务所需的综合能力.
• 需要在广泛的多模式医疗数据上训练有素的基础模型.

研究的目的:

• 开始开发一个放射学基础模型 (RadFM).
• 建立一个包括数据集构建,模型设计和评估在内的综合框架.
• 为广泛的放射应用创建一个多功能的人工智能工具.

主要方法:

• 医疗多模式数据集 (MedMD) 的构建,包括4个新的多模式数据集 (13M 2D 图像,615K 3D 扫描) 和现有数据.
• 建议创建一个新的架构,将文本与2D/3D医疗扫描集成到不同的任务中.
• 开发RadBench,用于包括自动和人为评估在内的综合基础模型的新基准.

主要成果:

• RadFM在多个放射学任务中表现出卓越的表现,包括诊断,视觉问题回答和报告生成.
• 该模型在各种基准上表现优于现有的可访问多式联网基础模型,包括GPT-4V.
• 调整RadFM为公共基准的结果是超越了几种最先进的模型 (SOTA).

结论:

• 在开发放射学基础模型方面,RadFM是一个重要的进步.
• 拟议的架构和MedMD数据集为未来的研究和开发提供了坚实的基础.
• 在临床放射学实践中,RadFM有望提高诊断准确性和效率.