利用临床文本和类调节来为3D前列腺MRI生成3D前列腺MRI

科学领域:

• 医疗成像医学成像
• 机器学习 机器学习
• 人工智能的人工智能

背景情况:

• 隐性扩散模型 (LDM) 对医学成像具有前景,但由于数据稀缺而面临挑战.
• 当前的医疗LDM策略通常需要大型数据集,特定的文本编码器或非医疗模型,限制性能和可访问性.
• 医疗成像中需要数据高效和可访问的LDM方法.

研究的目的:

• 提出一种新的LDM调节方法,以解决医学成像中的数据稀缺性和可访问性限制.
• 引入一个数据效率高的管道,以使用有限的数据和最小的注释来培训LDM.
• 提高合成医学图像质量和下游机器学习任务的性能.

主要方法:

• 开发了类条件有效的大型语言模型适配器 (CCELLA),这是LDMs的双头调节方法.
• 同时,CCELLA将LDM U-Net与自由文本临床报告和放射学分类进行条件化.
• 实施了一个以CCELLA为中心的数据效率高的LDM管道,具有关节损失功能,通过3D前列腺MRI进行评估.

主要成果:

• 在有限的3D前列腺MRI数据集上获得了0.025的3D FID得分,超过了基础模型 (FID 0.070).
• 通过合成图像增加分类器训练,前列腺癌预测准确度从69%提高到74%.
• 仅使用合成图像的分类器性能接近于真实图像训练的性能.

结论:

• 拟议的以CCELLA为中心的管道能够在有限的数据和注释的情况下实现高质量的医疗图像合成.
• 这种方法提高了合成图像质量和下游分类器性能.
• 该方法提高了医学成像中的LDM性能和科学可访问性.