用瓶融合变压器进行共享特定特征学习,用于多模式整片图像分析

科学领域:

• 计算病理学计算病理学
• 医学中的人工智能
• 精准医学是一门精准的医学.

背景情况:

• 在乳头甲状腺癌中精确预测淋巴结转移 (LNM) 对治疗决策和避免不必要的手术至关重要.
• 将全幻灯片组织病理图像 (WSIs) 与表式临床数据集成,有可能改善LNM预测.
• 世界工业互联网的高维度对多模式分析中的信息对齐构成了挑战.

研究的目的:

• 开发一种新的转换器引导的多模式多实例学习框架,用于预测LNM.
• 为了有效地融合WSIs和表格临床数据的信息,以提高诊断准确度.
• 改进LNM的手术前预测,以指导手术干预.

主要方法:

• 提出了一个基于注意力的色特征分组 (SAG) 方案,从高维的WSIs创建低维嵌入.
• 开发了一个瓶共享特定特征传输 (BSFT) 模块,用于跨模式知识传输的瓶令牌.
• 纳入模态适应和直角投影,以增强共享和特定特征的学习,通过注意预测汇总.

主要成果:

• 拟议的框架在收集的LNM数据集上实现了97.34%的曲线下的面积 (AUC).
• 该框架的性能超过了现有的最先进的方法,超过1.27%.
• 实验结果验证了拟议的SAG和BSFT组件的效率.

结论:

• 开发的变压器引导多模式框架有效地整合了WSI和临床数据,以准确预测LNM.
• 新的SAG和BSFT模块是处理高维的WSI数据和促进跨模态特征转移的关键.
• 这种方法显示了通过允许更准确的手术前LNM评估来改善精准医学的巨大潜力.