SG-Fusion:一个基于swin转换器和图形卷积的多模式深度神经网络,用于质瘤预后

科学领域:

• 计算病理学计算病理学
• 生物信息学是一种生物信息学.
• 人工智能在医学中的应用

背景情况:

• 组织病理学图像和基因组数据为瘤生物学提供了互补的见解.
• 单模方法限制了全面的瘤表征和临床决策.
• 现有的多模式方法往往过于简化了特征提取和数据融合.

研究的目的:

• 开发一个先进的多模态深度学习框架,以改善瘤诊断,预后和分级.
• 解决目前用于提取和融合基因组病理和基因组数据的方法的局限性.
• 通过整合各种数据模式,提高瘤分析的准确性和概括性.

主要方法:

• 开发了SG-Fusion,这是一个双分支的神经网络,集成了用于组织病理学的Swin-Transformer和用于基因组数据的图形卷积网络.
• 纳入对比性学习用于组织病理学特征表示和基因相似性用于基因组数据.
• 利用交叉注意模块来增强信息交互和基于分歧的规范化,以提高概括性.

主要成果:

• 与单模方法相比,SG-Fusion在生存分析和瘤分级方面表现优越.
• 该模型有效地捕获了基因组病理学中的本地和全球特征,并利用了基因组数据中的基因相似性.
• 对癌症基因组图谱质瘤数据集的验证证实了该模型的有效性.

结论:

• 拟议的SG-Fusion模型提供了一种强大的方法,用于在瘤学中整合组织病理学和基因组数据.
• 多模式融合显著提高了瘤分级和生存预测准确度.
• 这一框架通过利用互补的数据来源,推进了人工智能在精密瘤学的潜力.