弱监督的多模式对比学习框架用于预测乳腺癌中的HER2分数
Jun Shi1, Dongdong Sun2, Zhiguo Jiang3
1School of Software, Hefei University of Technology, Hefei, 230601, Anhui Province, China.
概括
这项研究引入了一种新的弱监督的多模式对比学习框架,用于预测乳腺癌整片图像中的人类表皮生长因子受体2 (HER2) 评分. 该方法整合了H&E和IHC模式,以提高准确性.
科学领域:
- 计算病理学计算病理学
- 人工智能在瘤学中的应用
- 生物标志物的量化和量化.
背景情况:
- 人体表皮生长因子受体2 (HER2) 是乳腺癌预后和治疗选择的关键生物标志物.
- 目前的HER2评分依赖于病理学家对免疫组织化学 (IHC) 图像的观察,这是主观和劳动密集的.
- 现有的计算方法经常使用单模数据 (H&E或IHC),并且无法有效地整合多模信息以改善HER2评分.
研究的目的:
- 开发一种新的弱监督多模式对比学习 (WSMCL) 框架,以在整个幻灯片图像 (WSI) 层面准确预测HER2得分.
- 在弱弱的WSI标签监督下,利用来自H&E和IHC模式的联合学习.
- 通过整合来自不同成像模式的信息来增强功能学习.
主要方法:
- 从H&E和IHC WSIs中的补丁中提取特征.
- 应用多头自我注意 (MHSA) 来捕捉每个模式内的全球补丁依赖.
- 选择top-k和bottom-k注意力得分补丁作为多模式学习的候选者.
- 实施一个多模态注意力对比学习 (MACL) 模块,用于跨模态的特征的语义对齐.
主要成果:
- 与现有方法相比,拟议的WSMCL框架显示出优越的HER2评分性能.
- 实验结果验证了多模式联合学习对HER2分数预测的有效性.
- 通过整合来自H&E和IHC图像的信息,WSMCL方法可以实现更好的准确性.
结论:
- 该WSMCL框架为乳腺癌中自动HER2评分提供了强大而准确的解决方案.
- 通过对比学习整合多模式数据显著提高了HER2评分的性能.
- 这种方法有可能减少病理学家的工作量,提高乳腺癌管理的诊断一致性.
更多相关视频
11:12Optimization of a Multiplex RNA-based Expression Assay Using Breast Cancer Archival Material
Published on: August 1, 2018
7.8K
04:09Predicting Treatment Response to Image-Guided Therapies Using Machine Learning: An Example for Trans-Arterial Treatment of Hepatocellular Carcinoma
Published on: October 10, 2018
8.2K
