AMLPF-CLIP:适应性提醒和蒸学习,用于不平衡的组织病理图像分类

科学领域:

• 医疗成像医学成像
• 计算病理学计算病理学
• 人工智能在医学中的应用

背景情况:

• 组织病理图像分类 (HIC) 对于计算机辅助诊断至关重要,有助于诸如瘤分类和生存预测等任务.
• 目前的HIC方法在整合领域知识,处理不平衡的数据集和保持计算效率方面扎.

研究的目的:

• 引入AMLPF-CLIP,一个基于CLIP的增强框架,旨在克服现有的HIC方法的局限性.
• 改进语义表示,交叉模式对齐和HIC分类性能.

主要方法:

• 开发了一个自适应的多层次快速融合 (AMLPF) 策略,使用类标签,描述和GPT-4o生成的病理特征.
• 实施了一种类别平衡的重新抽样方法,以解决数据不平衡,并改善代表性不足的类别的表现.
• 使用L2损失的知识蒸 (KD) 从大型视觉变压器 (ViT-L/16) 传输知识到基于ResNet-50的轻量级CLIP模型.

主要成果:

• 在三个公共数据集 (Chaoyang,BreaKHis,LungHist700) 上,AMLPF-CLIP的表现优于11种最先进的方法.
• 在Chaoyang上获得1.19%的精度改进,在BreaKHis上获得2.64%,在LungHist700.上获得0.90%的精度改进.
• 与现有方法相比,证明了增强的稳定性和计算效率.

结论:

• 通过有效地整合领域知识和解决阶级不平衡,AMLPF-CLIP为HIC提供了显著的进步.
• 该框架显示了其实际适用性,因为其提高了计算机辅助诊断的准确性,稳定性和效率.