UniMiSS+:从跨维的未配对数据中进行通用医疗自我监督的学习

科学领域:

• 医疗图像分析 医学图像分析
• 自主监督学习学习
• 医疗保健中的人工智能

背景情况:

• 由于高成本和隐私问题,医疗图像分析面临着注释稀缺性,特别是在CT扫描等3D数据中,由于高成本和隐私问题.
• 以前的工作,UniMiSS,利用2D图像 (例如,X射线) 来补偿自主监督学习 (SSL) 中有限的3D数据.
• 最初的UniMiSS框架虽然多功能,但由于缺少配对数据,无法充分利用2D和3D模式之间的解剖相关性.

研究的目的:

• 通过将配对的2D/3D医疗图像数据纳入UniMiSS框架的扩展.
• 在自我监督的学习环境中,增强跨模态解剖相关性的学习.
• 提高医疗图像表示学习对下游任务的有效性和多功能性.

主要方法:

• 开发UniMiSS+,这是UniMiSS框架的延伸.
• 利用数字重建射线图 (DRR) 技术,从3DCT卷中生成配对的2DX射线数据.
• 引入一对对的约束,以加强跨模式相关性学习和跨维度规范化.

主要成果:

• UniMiSS+在各种3D/2D医疗图像分析任务,包括细分和分类方面表现得更好.
• 该框架超过了通过ImageNet预培训和其他先进的自我监督学习方法实现的性能.
• 与之前的UniMiSS框架相比,UniMiSS+显示出显著的改进,特别是在利用配对数据方面.

结论:

• UniMiSS+有效地利用对联的2D/3D医疗数据来增强自我监督的表示学习.
• 拟议的对比约束显著提高了跨模式相关性学习和整体模型性能.
• UniMiSS+代表了医疗图像分析的重大进步,为下游任务提供了卓越的性能和多功能性.