在语网络中使用生成模型提高图像检索性能

科学领域:

• 医学成像和人工智能 医学成像和人工智能
• 计算病理学计算病理学
• 在瘤学瘤学.

背景情况:

• 前列腺癌是全球重要的健康问题,需要准确和早期诊断才能有效治疗.
• 计算机辅助诊断 (CAD) 系统帮助病理学家,但他们的性能可以通过先进的技术来提高.
• 基于内容的图像检索 (CBIR) 为改善病理学CAD系统提供了一个有希望的途径.

研究的目的:

• 评估生成深度学习模型对提高CBIR系统中前列腺癌诊断检索质量的影响.
• 调查语网络的应用,用于学习图像补丁表示以进行检索.
• 探索CBIR优化潜伏表示的新用途,以在格里森评分中训练注意力机制.

主要方法:

• 利用一个语网络方法来学习图像补丁的隐藏表示,以便检索.
• 使用ProGleason-GAN框架,在SiCAPv2数据集上进行训练,以生成合成图像对.
• 开发并应用了一种以CBIR优化潜伏表示为全幻灯片成像 (WSI) 格里森评分而训练的注意力机制.

主要成果:

• 由生成模型生成的合成补丁的引入导致了CBIR绩效指标的显著改进.
• 西安网络有效地将图像补丁编码为用于检索任务的有用隐藏表示.
• 本研究介绍了首次应用CBIR优化的潜伏表示来训练格里森评分的注意力机制.

结论:

• 生成型深度学习模型,特别是当与语网络一起使用时,可以明显提高CBIR系统在前列腺癌分析中的有效性.
• 综合合成数据的整合提高了检索质量,并有助于更准确的诊断支持.
• 这项研究开创了一种新的格里森评分方法,使用训练在专业潜伏表征上的注意力机制.