合成医学图像生成和临床应用的自我改进的生成基础模型
Jinzhuo Wang1, Kai Wang2,3, Yunfang Yu4,5
1Department of Big Data and Biomedical AI, National Biomedical Imaging Center, College of Future Technology, Peking University and Peking-Tsinghua Center for Life Sciences, Beijing, China. wangjinzhuo@pku.edu.cn.
Nature medicine
|December 11, 2024
概括
一个新的AI模型,MINIM,从文本中生成高质量的合成医疗图像,解决数据稀缺问题. 这种人工智能工具在各种医学成像任务中提高了诊断性能,改善了患者的治疗结果.
科学领域:
- 人工智能的人工智能
- 医疗成像医学成像
- 生成型模型 生成型模型
背景情况:
- 高质量的医学成像数据集的稀缺性限制了人工智能应用,特别是在罕见疾病和多样化的群体中.
- 现有的数据集往往不足以在各种成像模式中训练强大的人工智能 (AI) 模型.
研究的目的:
- 推出MINIM,一个统一的医疗图像-文本生成模型,用于合成各种医疗图像.
- 评估MINIM在不同器官和模式中生成高质量的合成图像的能力.
- 评估MINIM在增强数据集和提高AI在临床应用中的性能方面的潜力.
主要方法:
- 开发了MINIM,一个统一的生成模型处理文本提示以创建医疗图像.
- 通过临床医生评估和客观测量验证合成图像质量.
- 测试了MINIM在未见数据域上的性能及其对下游AI任务的影响.
主要成果:
- MINIM可以在各种器官和模式上生成高质量的合成医疗图像.
- 合成图像有效地增强了数据集,在眼科,胸部,大脑和乳腺成像任务中提高了12-17%的AI性能.
- 在预测HER2阳性乳腺癌和识别肺癌中EGFR突变方面已证明临床实用性.
结论:
- 通过克服数据限制,MINIM显示出作为通用医学AI (GMAI) 的潜力.
- 合成数据生成可以显著提高AI模型在医学诊断和治疗预测中的性能.
- 需要在不同的,有前景的环境中进行进一步的验证,以提高可通用性和稳定性.
