组织病理学语言图像表示学习用于细粒度数字病理学交叉模式检索

科学领域:

• 数字病理学数字病理学
• 计算瘤学是一种计算瘤学.
• 医疗图像分析 医学图像分析

背景情况:

• 数字整片图像 (WSI) 分析对于计算机辅助癌症诊断至关重要.
• 基于内容的基因病理图像检索 (CBHIR) 有助于病理学家,但面临着图像大小和人工注释依赖的挑战.

研究的目的:

• 开发一种新的框架,用于使用语言-图像表示学习进行细粒度的数字病理学跨模态检索.
• 利用配对的诊断报告和WSIs来增强对病理学中的语义理解.

主要方法:

• 一个基于的WSI编码器提取分层区域特征.
• 一个基于提示的文本编码器从诊断报告中学习语义.
• 一个多变量交叉模式损失函数在实例和区域层面上训练模型.

主要成果:

• 该框架允许四种类型的检索任务,支持诊断需求.
• 在内部和公共数据集上的实验表明了显著的有效性.
• 拟议的方法比现有的组织病理检索技术具有优势.

结论:

• 开发的框架为数字病理学中的跨模式检索提供了一个强大的工具.
• 它有效地解决了当前方法的局限性,增强了诊断支持.
• 这种方法有助于更精确,更有效地分析病原体学数据.