大规模的3D医疗图像预训练与几何上下文

科学领域:

• 医学图像分析 医学图像分析
• 人工智能的人工智能
• 计算机视觉 计算机视觉

背景情况:

• 医学图像分析面临着注释的稀缺性,特别是对于3D数据.
• 大规模的预培训是一个有前途的标签效率解决方案,但在医学成像中未得到充分探索.
• 从未标记的医疗数据中学习高级语义是具有挑战性的.

研究的目的:

• 引入一个自我监督的框架,体积对比 (VoCo),用于医学影像预培训.
• 为了利用3D医学图像中固有的几何上下文来进行表示学习.
• 为了应对学习无注释语义的挑战.

主要方法:

• 在3D医疗卷上使用对比学习开发了体积对比 (VoCo) 框架.
• 提取基础作物,以创建积极和消极对进行自我监督的学习.
• 预测随机作物的上下文位置,基于与基础作物的相似性,编码几何上下文.

主要成果:

• 介绍了PreCT-160K,这是最大的医学图像预训练数据集 (160K CT卷).
• 在51个不同的医疗任务 (细分,分类,注册,视觉语言) 中证明了VoCo的优势.
• 展示了VoCo对未见的模式和数据集的强大可转移性,提高了有限数据场景的性能.

结论:

• 在医学成像中,VoCo有效地利用几何上下文进行自我监督的学习.
• 该框架显著提高了性能,并加速了微调,特别是在有限的注释方面.
• VoCo为医学影像预培训和下游任务提供了可扩展和多功能方法.