未配对的双模图像补充学习,用于单模医疗图像细分的单模图像细分

科学领域:

• 医疗成像医学成像
• 计算机视觉 计算机视觉
• 机器学习 机器学习

背景情况:

• 多模态磁共振成像 (MR) /计算机断层扫描 (CT) 图像细分对于疾病诊断和治疗至关重要.
• 由于高成本和对比剂过敏,获得对齐的多模式图像是具有挑战性的.

研究的目的:

• 开发用于未配对的多模式图像细分的框架.
• 为了使单模图像细分在结论后训练与未配对的数据.

主要方法:

• 拟建一个合成-细分任务-补充网络,以相互促进跨模态图像合成和细分.
• 引入了曲率一致性损失,以保持原始和合成图像之间的器官形状一致性.
• 一个回归-细分任务-补充网络用于细分小病变或亚结构.

主要成果:

• 拟议的框架在内部和公共数据集上,与最先进的方法相比,表现优越.
• 实验结果验证了合成细分和回归细分方法的有效性.

结论:

• 该方法在训练期间有效地融合双模CT/MR图像,并且只需要单模图像进行推断.
• 这种方法适用于常规临床使用,当只有一种成像模式可用时.