简介:MSCPT:少数拍摄的全幻灯片图像分类,具有多尺度和以上下文为中心的快速调整

科学领域:

• 计算病理学计算病理学
• 医学中的人工智能
• 数字病理学数字病理学

背景情况:

• 多个实例学习 (MIL) 是整个幻灯片图像 (WSI) 分类的标准,但需要广泛的标记数据.
• 由于有限的数据和罕见疾病,短暂的弱监督WSI分类 (FSWC) 面临着挑战.
• 现有的自然图像提示调整方法对于WSIs是不理想的,无法利用VLM文本先验和WSI多尺度/上下文信息.

研究的目的:

• 开发一个先进的提示调方法,用于少射击弱监督的WSI分类 (FSWC).
• 增强视觉语言模型 (VLM) 预先知识和WSI特定特征的利用.
• 为了克服整个幻灯片图像当前提示调方法的局限性.

主要方法:

• 拟用于FSWC的多规模和以上下文为中心的快速调整 (MSCPT) 方法.
• 利用冷的大型语言模型来生成多层次的病理视觉语言,用于层次提示调整的先验知识.
• 包含了一个用于上下文信息的图表提示调整模块和用于WSI级特征提取的非参数交叉引导实例聚合模块.

主要成果:

• 在五个数据集和三个下游任务中,MSCPT在使用三个不同的VLM中表现出强的表现.
• 该方法有效地利用VLM文本模式,并在WSIs中捕获多尺度/上下文信息.
• 视觉化和解释性分析证实了该方法的有效性.

结论:

• MSCPT为少量射击弱监督的WSI分类提供了强大的解决方案,特别有利于罕见疾病.
• 拟议的方法通过整合多个规模,上下文和实例聚合策略来增强快速调整.
• 该代码的公开可用性促进了计算机病理学的进一步研究和应用.