沃克斯-MMSD:用于自我监督的大脑瘤细分的沃克斯智能多尺度和多模式自蒸

科学领域:

• 医疗成像医学成像
• 人工智能的人工智能
• 神经科学是一个神经科学.

背景情况:

• 从多模态MRI中对脑瘤细分进行深度学习对于诊断和治疗至关重要.
• 由于昂贵的注释,监督方法在有限的标记数据中扎.
• 自主监督的预培训通过从未标记的数据中学习提供了一个解决方案.

研究的目的:

• 为大脑瘤细分提出一种新的自主监督学习 (SSL) 框架.
• 为了有效地利用多模态MRI信息和多尺度特征.
• 为了提高细分性能,特别是有限的标记数据.

主要方法:

• 开发了一个姆区块智能模式掩盖 (SiaBloMM) 策略,用于多样化的输入生成和恢复.
• 引入重叠随机模式采样 (ORMS) 进行多尺度特征自蒸.
• 专注于提取模态不变和增强语音智能表示.

主要成果:

• 在有限的微调数据的情况下,在BraTS 2024数据集上的平均子得分得到了3.80个百分点的改善.
• 在其他三个下游脑瘤数据集上表现出更好的性能,平均3.47个百分点的Dice改进.
• 在脑瘤细分任务中表现优于现有的几种自我监督学习方法.

结论:

• 拟议的SSL框架有效地利用多模式和多规模的功能来对脑瘤进行细分.
• 该方法显著提高了细分的准确性,特别是在低数据的制度.
• 这种方法为开发强大的脑瘤细分模型提供了一个有希望的方向.