多尺度表示基于注意力的深度多实例学习,用于千兆像素全幻灯片图像分析

科学领域:

• 计算病理学计算病理学
• 医学中的人工智能
• 数字病理学数字病理学

背景情况:

• 卷积神经网络 (CNN) 越来越多地用于使用整个幻灯片图像 (WSI) 进行瘤诊断.
• 训练CNN通常需要幻灯片级标签,但处理千兆像素WSIs由于其大小和图像内部变化而存在挑战.
• 现有的方法难以直接分析大规模的WSIs.

研究的目的:

• 为整个幻灯片图像 (WSI) 分析提出一种新的,端到端可解释的深度多实例学习 (MIL) 框架.
• 为了克服与直接处理千兆像素WSIs在瘤诊断中的挑战.
• 为了提高WSI分析中的分类准确性和模型解释性.

主要方法:

• 提出了一个双分支深度神经网络与多尺度表示注意力机制相结合.
• WSIs被分为袋,补丁和细胞级图像,将WSI分类作为一个MIL问题.
• 该框架直接从每个WSI中的所有补丁,挖矿袋标签,重要补丁和细胞级信息中提取特征.

主要成果:

• 与最先进的方法相比,拟议的框架显示出更高的性能.
• 在WSI分析中实现了更高的分类准确性.
• 显著改善了模型的解释性.

结论:

• 新的深度MIL框架有效地解决了千兆像素WSI分析的挑战.
• 该方法为准确和可解释的瘤诊断提供了一个强大的工具.
• 该框架挖掘多层次信息的能力提高了其诊断能力.