布莱特菲尔德组织学中的细胞类型和状态估计图像:糖尿病病的试点研究

科学领域:

• 计算病理学计算病理学
• 数字病理学数字病理学
• 机器学习在医学中的应用

背景情况:

• 组织病理学评估是临床诊断的黄金标准,尽管出现了先进的多omics技术,如10X Genomics Visium.
• 多omics数据虽然有信息,但通常是昂贵的,并且无法用于常规的临床使用.
• 需要将先进的计算方法与传统的组织病理学相结合,以提高诊断和预后能力.

研究的目的:

• 开发和评估机器学习管道,从明亮场组织学图像直接预测细胞类型和状态.
• 通过利用深度学习模型来解释组织病理学数据来增强临床诊断和预后.
• 为了弥合传统遗传病理学和分子诊断之间的差距.

主要方法:

• 提出了一个两阶段的管道: (1) 一个图像到文本检索网络 (ITTN) 使用CONCH模型从组织学图像生成文本提示,和 (2) 一个视觉语言模型 (VLM) 预测细胞类型/状态比例.
• ITTN将图像分类为结构类型 (球体,管,血管,间隙) 以创建描述性文本提示.
• 该VLM使用对联的图像和文本输入进行细胞类型/状态预测,并将性能与仅图像模型 (CONCH视觉编码器,ViT,ResNet) 进行比较.

主要成果:

• 拟议的管道在糖尿病病样本上实现了0.0027的平均平方误差.
• 与仅使用图像模型相比,显著改善:比CONCH有20.59%,比ViT有27.03%,比ResNet有32.50%.
• 该VLM方法成功地从组织学图像中预测了细胞类型/状态比例.

结论:

• 开发的机器学习管道有效地从明亮场组织学图像中预测细胞类型/状态.
• 这种方法提供了一种有前途的方法,通过将计算分析与组织病理学相结合,提高疾病诊断和预后.
• 该研究强调了视觉语言模型在推进计算病理学的潜力.