一个多模式的知识增强全幻灯片病理学基础模型

科学领域:

• 计算病理学计算病理学
• 人工智能在瘤学中的应用
• 数字病理学数字病理学

背景情况:

• 计算病理学的基础模型面临着整合多模式数据 (报告,基因表达) 和捕捉整个幻灯片背景的挑战.
• 目前的模型经常使用仅视觉或图像标题数据,忽视了病理学报告和基因表达特征的关键见解.
• 现有模型中的补丁级分析限制了全面的全幻灯片模式的捕获.

研究的目的:

• 推出mSTAR (多式自学预训练),这是一个新的病理学基础模型,旨在实现统一的多式联络整合.
• 将病理学幻灯片,专家创建的报告和基因表达数据纳入一个框架.
• 通过实现幻灯片级分析和多式联接数据融合,推进计算病理学.

主要方法:

• 开发了mSTAR,这是一个整合三个模式的基础模型:病理幻灯片,专家创建的报告和基因表达数据.
• 利用了26169个幻灯片级模式对的32种癌症类型的数据集,包括超过1.16亿张贴图像.
• 实施了一个框架,在补丁表示中注入多模式全幻灯片上下文,从而实现幻灯片级别的分析.

主要成果:

• 与以前的最先进模型相比,mSTAR在97个任务的瘤基准中表现出卓越的表现.
• 该模型在分子预测和多式联络任务方面表现出特别强大的优势.
• 结果表明,多式联运集成提供了比仅仅扩展视觉数据集更大的性能改进.

结论:

• mSTAR有效地整合了多模式数据 (幻灯片,报告,基因表达) 以增强计算病理学.
• 该模型将分析从补丁级推进到幻灯片级,并从单个到多个模式.
• 多模式基础模型代表了癌症诊断和研究的重大进步.