在磁共振成像中以文本为导向的多模式深度学习用于脊柱结构细分和腰部异常识别的磁共振成像

科学领域:

• 医学成像分析 医学成像分析
• 深度学习 (Deep Learning) 是一种深度学习.
• 放射学 放射学是一门学科.

背景情况:

• 单模式深度学习 (DL) 方法难以在文本语义和医疗图像之间建模关系.
• 腰部MRI分析需要有效建模文本描述中的潜在关系,以准确识别目标.
• 现有的方法不足以全面分析脊柱结构和腰部MRI扫描中的异常.

研究的目的:

• 提出一个以文本为导向的多模式DL方法,用于对脊柱结构进行细分,并在T1WI和T2WIMRI扫描中识别腰部异常.
• 利用文本语义和交叉模式特征,提高腰部MRI分析的准确性.
• 开发一个自动化工作流程,帮助放射科医生,减少工作量.

主要方法:

• 使用ConvNeXt V2作为图像编码器和基于对比语言图像预训 (CLIP) 的文本编码器.
• 在未标记的腰部MRI扫描和临床报告中,对每个编码器进行了自我监督的预训.
• 开发了一种以文本为导向的DL方法,将两种编码器集成到201个完全注释的T1WI和T2WIMRI样本上.

主要成果:

• 实现了0.823±0.053的欧盟平均交叉点 (mIoU),用于细分19个脊柱结构,优于现有方法.
• 在腰部异常识别方面表现出高性能,回忆率为0.867±0.027,低FRP为0.079±0.015,精度为0.893±0.028.
• 在上和下Dice分数之间的细分指标中没有显著差异 (P=0.744).

结论:

• 拟议的文本导向DL方法有效地细分脊柱结构,并在多序MRI扫描中识别腰部异常.
• 跨模式特征的整合显著提高了细分精度和异常识别性能.
• 该方法显示了自动化工作流程的临床潜力,有助于诊断和减少放射科医生的工作量.