混合蒙面图像建模用于3D医疗图像细分的3D医疗图像细分
IEEE journal of biomedical and health informatics
|January 30, 2024
概括
混合MIM通过使用一种新的混合自我监督学习方法来增强3D医疗图像细分. 与现有技术相比,这种方法显著减少了培训前的时间,并提高了细分的准确性.
科学领域:
- 人工智能的人工智能
- 医疗成像医学成像
- 计算机视觉 计算机视觉
背景情况:
- 用变压器进行蒙面图像建模 (MIM) 是一种强大的自主监督预训技术.
- 现有的MIM方法重建像素,专注于低级语义,并产生很长的预训练时间.
- 需要更高效,更丰富的语义自主监督方法来进行3D医学图像细分.
研究的目的:
- 推出HybridMIM,一种用于3D医疗图像细分的新型混合自主监督学习方法.
- 提高医疗图像分析自主监督预培训的效率和有效性.
- 为了提高细分性能,利用多层次的语义信息.
主要方法:
- 一个双层掩盖层次结构旨在指定补丁在子卷中的掩盖,并结合更高层次的语义约束.
- 使用三种语义学习水平:部分区域预测 (像素级),补丁掩盖感知 (区域级) 和对比学习 (样本级).
- 该框架支持卷积神经网络 (CNN) 和变压器作为编码器骨干,并允许对解码器进行预训练.
主要成果:
- 在5个公共医疗图像细分数据集 (BraTS2020,BTCV,MSD肝脏,MSD脏,BraTS2023) 上,混合MIM显然优于监督方法,其他掩盖的预训练方法和自我监督方法.
- 该方法在定量指标,速度性能和定性观测方面取得了显著的改进.
- 由于部分区域预测,观察到减少了训练前时间.
结论:
- 混合MIM为3D医疗图像细分提供了一种多功能和有效的自我监督学习框架.
- 拟议的多层次语义学习策略提高了细分精度和概括能力.
- 混合MIM在医疗图像分析的自我监督学习中呈现出有前途的进步,优于现有的方法.
