MG-Trans:具有信息瓶的多尺度图形变压器,用于整个幻灯片图像分类

科学领域:

• 数字病理学数字病理学
• 计算病理学计算病理学
• 机器学习在医疗保健中的应用

背景情况:

• 多个实例学习 (MIL) 是整个幻灯片图像 (WSI) 分析的标准.
• 当前的MIL方法产生冗余的补丁数据,并不充分建模空间关系,限制细粒度特征歧视.

研究的目的:

• 为了解决当前WSI分类的MIL方法的局限性.
• 为整个幻灯片图像分类提出一个有效的模型,增强特征表示和空间关系建模.

主要方法:

• 开发了多尺度图形变压器 (MG-Trans),有三个模块:补丁定模块 (PAM),结构信息学习模块 (SILM) 和多尺度信息瓶模块 (MIBM).
• 使用视觉转换器的类注意力地图,PAM采样了信息补丁.
• SILM 结合了局部组织结构,用于空间关系建模.
• MIBM使用信息瓶原则将多个尺度的特征合并为紧的表示.
• 引入了用于稳定训练的语义一致性损失.

主要成果:

• MG-Trans在WSI分类任务上表现出卓越的表现.
• 该模型有效地识别了信息补丁,并建模了空间关系.
• 多个尺度的特征融合导致了强大而紧的袋级表示.

结论:

• MG-Trans在WSI分类中比现有的MIL方法提供了显著的进步.
• 拟议的架构增强了数字病理学中细粒度特征的辨别能力.
• MG-Trans显示出在亚型和基因突变检测方面提高诊断准确性的巨大潜力.