多模式对比学习,以提高儿科脑瘤分子诊断中的可解释性

科学领域:

• 医疗成像医学成像
• 人工智能的人工智能
• 在瘤学瘤学.

背景情况:

• 卷积神经网络 (CNN) 在通过MRI诊断脑瘤方面表现有前途,但由于解释性差,缺乏临床整合.
• 在报告中捕捉到的放射科医生的专业知识对于临床相关性至关重要,但在人工智能模型中往往未得到充分利用.
• 可解释性是建立信任和促进在放射学中采用AI工具的关键.

研究的目的:

• 通过整合放射学报告来提高CNN用于脑瘤诊断的可解释性和性能.
• 开发一个多式模式的对比学习框架,从3DMRI扫描和相关的放射学报告中学习.
• 通过结合瘤位置信息来增强模型的概括性.

主要方法:

• 在3D脑部MRI扫描和放射学报告上训练了一种多式对比学习架构.
• 瘤位置数据被整合到框架中,以提高概括性.
• 学习的MRI表示被应用到儿科低度质瘤的遗传标志物分类.

主要成果:

• 该模型在可解释性 (注意力图与手动细分) 方面获得了31.1%的Dice分数.
• 儿童低级质瘤遗传标志物分类的测试分类性能达到87.7%.
• 多式联运方法在可解释性和性能方面显著优于基线方法.

结论:

• 将放射学报告和瘤位置集成到一个对比的学习框架中,可以显著提高CNN的解释性和脑瘤的诊断准确性.
• 开发的模型显示了建立临床医生的信任和促进AI在神经瘤学中的临床整合的潜力.
• 这种方法为像低级质瘤这样的儿科脑瘤提供了更高效和可靠的AI辅助诊断的途径.