开放VocabCT:朝着通用文本驱动的CT图像分割

科学领域:

• 医学成像和人工智能 医学成像和人工智能
• 计算机视觉在医疗保健中的应用
• 机器学习用于医学诊断

背景情况:

• 深度学习模型 (CNNs,ViTs) 改进了CT分析,但在处理各种临床数据方面存在困难.
• 基础模型是可适应的,但需要广泛的语音级别注释,这对于医疗图像来说很少.
• 基于提示的模型提供解决方案,但视觉提示 (SAM) 需要手动输入,文本提示模型 (CLIP-Driven) 受到训练数据的限制.

研究的目的:

• 介绍OpenVocabCT,一种新的视觉语言模型,用于3DCT图像中的通用文本驱动细分.
• 解决当前模型在处理多样化的临床数据和复杂的细分任务方面的局限性.
• 通过文本提示,实现可适应和多功能医疗图像分析.

主要方法:

• 开发了OpenVocabCT,这是一个在大型3DCT图像上预训练的视觉语言模型.
• 利用CT-RATE数据集将诊断报告分解为细粒度,器官级别的描述.
• 采用大型语言模型来进行多粒度的对比学习,以增强模型的理解.

主要成果:

• 与现有方法相比,OpenVocabCT在下游细分任务上表现出优异的性能.
• 对14个公共和1个机构数据集进行了评估,用于器官和瘤细分.
• 取得了最先进的结果,展示了该模型在各种细分挑战中的有效性.

结论:

• OpenVocabCT提供了一种使用文本提示的多功能和临床相关的医疗图像细分方法.
• 模型对大规模CT数据的预训练和多粒度对比学习有助于其卓越的性能.
• 代码,数据集和模型的公开发布旨在促进人工智能驱动的医学成像领域的进一步研究和开发.