通过突出性一致的对比学习对内微镜脑数据的可解释分类

科学领域:

• 神经外科 神经外科
• 医疗成像医学成像
• 人工智能的人工智能

背景情况:

• 使用基于探针的聚焦激光内微镜 (pCLE) 精确的脑组织表征对于手术指导和瘤切除至关重要.
• 目前对PCLE数据的深度学习模型缺乏解释性,阻碍了外科医生的信任.
• 现有的分类方法经常使用交叉损失,这可能无法优化有效区分组织类别.

研究的目的:

• 开发一种新的,可解释的图像分类框架,用于使用pCLE数据进行脑组织表征.
• 提高神经外科人工智能模型的准确性,稳定性和可解释性.
• 为外科医生提供可靠的AI工具,为组织分类提供清晰的洞察力.

主要方法:

• 提出一个标签对比学习 (LCL) 损失来增强类别内部的相似性和类别间的对比性,生成具有代表性的数据嵌入.
• 引入了一个 Saliency 一致性 (SC) 模块,具有 Top-K 最大和最小聚合 (TK-MMP) 层,用于临床相关的 Saliency 地图生成.
• 用于全球组织类别嵌入的指数移动平均值 (EMA) 和全球嵌入推理 (GEI) 层,通过等号相似性进行稳健的分类.

主要成果:

• 与最先进的模型相比,拟议的框架在ex-vivo和in-vivopCLE大脑数据上实现了优越的分类性能.
• 在脑组织分类的准确性,稳定性和可解释性方面取得了显著的改进.
• 生成临床相关的突出性图,增强对模型预测的理解.

结论:

• 新的LCL和SC框架为使用pCLE进行脑组织表征提供了高度准确,强大和可解释的解决方案.
• 这种方法有可能显著增强外科医生对神经外科手术程序的信任和决策.
• 开发的方法为医疗成像应用中的可解释AI提供了一个新的标准.