通过在稀疏的自编码器中通过弱监督的神经元选择进行补丁级的表型识别,用于CLIP衍生的病理嵌入

科学领域:

• 计算病理学计算病理学
• 医学中的人工智能
• 数字病理学数字病理学

背景情况:

• 整个幻灯片图像 (WSI) 的计算机辅助分析正在迅速发展.
• 多模态病理学基础模型为WSI分析提供了新的可能性.

研究的目的:

• 提出一种弱监督的神经元选择方法,从CLIP衍生病理基础模型中提取解的表示.
• 为了利用稀疏的自动编码器的解释性来增强WSI分析.
• 为了使用选定的神经元实现有效的补丁级表型识别.

主要方法:

• 在多个实例学习 (MIL) 框架内使用整个幻灯片级别标签的弱监督的神经元选择方法.
• 从一般和病理图像中调查预训练图像嵌入.
• 使用稀疏的自动编码器来解开纠的表示提取.

主要成果:

• 单个选择的神经元有效地使补丁级的表型识别成为可能.
• 在Camelyon16和PANDA数据集上证明了有效性和可解释性.
• 展示了用于瘤补丁识别的概括能力.

结论:

• 提出的弱监督神经元选择方法提高了病理基础模型的解释性和有效性.
• 这种方法促进了数字病理学中精确的瘤识别和表型分析.
• 该方法在不同的数据集中显示出强大的概括能力.