HSG-MGAF 网络:异质子图引导的多尺度图注意力融合网络,用于对整个幻灯片图像进行可解释的预测
Meiyan Liang1, Xing Jiang1, Jie Cao2
1School of Physics and Electronic Engineering, Shanxi University, Taiyuan 030006, China.
Computer methods and programs in biomedicine
|March 5, 2024
概括
本研究介绍了一种新的异质子图引导多尺度图注意力融合网络 (HSG-MGAF Net),用于整个幻灯片图像 (WSI) 预测和感兴趣区域 (ROI) 定位. HSG-MGAF Net 通过有效利用 WSIs 中的多层次异构信息,显著提高了诊断准确性.
科学领域:
- 计算病理学计算病理学
- 医疗图像分析 医学图像分析
- 医疗保健中的人工智能
背景情况:
- 病理整片图像 (WSI) 预测和兴趣区域 (ROI) 定位对于计算机辅助诊断和术后分析至关重要.
- 现有的方法通常假定实例独立性和单一规模分析,未能充分利用WSIs内的层次,多规模和异质信息.
研究的目的:
- 开发一种先进的计算方法,用于适应性WSI预测和病变定位.
- 通过利用WSIs中的多尺度异构信息来克服现有方法的局限性.
主要方法:
- 介绍异质子图引导的多尺度图表注意力融合网络 (HSG-MGAF网).
- HSG-MGAF Net在两个尺度上构建图形和超图形拓,以建模WSI补丁关系.
- 该框架捕捉了低级和高级的相关性,并整合了跨尺度的异质信息以进行预测.
主要成果:
- 与最先进的方法相比,HSG-MGAF Net在CAMELYON16和TCGA-NSCLC数据集上表现优异.
- 实现了高平均精度 (ACC),曲线下的面积 (AUC) 和F1得分 (例如,CAMELYON16上的92.7%/0.951/0.892).
- 生成的热图准确地定位了正区域,显示了与像素级注释有很强的一致性.
结论:
- HSG-MGAF Net通过有效地整合跨规模的异质信息,优于现有的弱监督的学习方法.
- 这种方法为开发轻量级,异构的基于图形的WSI预测和ROI本地化技术提供了有希望的方向.
