充分利用视觉语言嵌入式,在组织病理学图像中实现零射击学习

科学领域:

• 计算病理学计算病理学
• 数字病理学数字病理学
• 医学中的人工智能.

背景情况:

• 零射击学习 (ZSL) 能够在没有标记数据的情况下对新类进行概括,这对病理学至关重要.
• 视觉语言模型 (VLMs) 对ZSL有希望,但面临复杂的组织病理图像和细微诊断方面的挑战.

研究的目的:

• 开发一种新的框架,即多分辨率快速引导混合嵌入 (MR-PHE),用于有效的零射击基因病理图像分类.
• 为了提高模型在未见的基因病理学类的语义理解和分类性能.

主要方法:

• MR-PHE采用多分辨率贴片提取来捕获细胞和组织特征,模仿病理学家的工作流程.
• 混合嵌入策略结合了全球图像和加权补丁嵌入,以实现集成的本地和全球环境.
• 快速生成框架以特定域名的术语丰富了类描述,基于相似性的补丁权重机制突出显示了诊断相关的区域.

主要成果:

• MR-PHE显著提高了对组织病理学数据集的零射击分类性能.
• 该框架在向未见的类推广方面表现出有效性,这是计算病理学的关键挑战.
• 性能往往超过完全监督模型的性能,这表明临床应用的巨大潜力.

结论:

• MR-PHE提供了一种强大的零射击组织病理学分类方法,解决了当前VLM应用的局限性.
• 该方法集成多分辨率功能和增强语义理解的能力推动了其卓越的性能.
• 这一框架对于推进计算病理学和诊断准确性的巨大潜力.