重新思考用于医学图像表示的蒙面图像建模

科学领域:

• 计算机视觉 计算机视觉
• 医疗成像医学成像
• 自主监督学习学习

背景情况:

• 蒙面图像建模 (MIM) 在使用未注释数据的计算机视觉方面表现出色.
• 在MIM中,传统的随机掩盖可能对医疗图像中的稀疏,局部特征不理想.
• 医疗图像通常有附带的报告,可以指导特征识别.

研究的目的:

• 介绍面具医疗图像建模 (MedIM),一种新的方法,使用放射学报告来指导图像掩饰.
• 通过专注于信息区域,增强医疗图像中的语义表示.
• 开发报告导向的掩盖策略,以改善医学成像中的自我监督学习.

主要方法:

• 提出了MedIM,这是第一个使用放射性报告用于自我监督学习中掩盖的方法.
• 引入了基于知识的掩盖 (KDM),使用医学主题标题 (MeSH) 来寻找症状线索.
• 开发了句子驱动的掩盖 (SDM),集成句子级报告信息以进行有针对性的掩盖.
• 使用KDM和SDM重建图像以创建丰富的医学图像表示.

主要成果:

• 在七个下游任务中,MedIM实现了竞争性表现,包括分类和细分.
• 在MedIM中以报告为指导的掩盖显著超过了ImageNet预训练,标准MIM和医学图像报告预训练.
• 证明了KDM和SDM在促进更强大的语义表示中的有效性.

结论:

• 通过利用放射学报告,MedIM提供了一种新且有效的方法,用于在医学成像中进行自我监督学习.
• 报告导向掩盖是改善医疗图像表示和下游任务执行的有希望的策略.
• 拟议的方法为未来医学图像自主监督学习研究提供了强有力的基准.