通过大语言模型的描述性先验,通过知识增强的医学图像分类
Yuhang Zhang1,2, Yiming Xu1, Peilin Chen2
1School of Computer Science and Technology, University of Science and Technology of China, Hefei, 230001 Anhui China.
Health information science and systems
|September 30, 2025
概括
本研究介绍了KEM,这是一种用于医学图像分类的新型知识增强模型. 通过将专家知识与视觉数据相结合,KEM使用医学大视觉语言模型 (Medical LVLMs) 来提高诊断准确性.
科学领域:
- 人工智能的人工智能
- 医疗成像医学成像
- 计算机视觉 计算机视觉
背景情况:
- 目前的医学图像分类严重依赖于视觉特征,往往缺少关键的诊断细节.
- 需要采用结合医疗专业知识的方法来提高诊断准确度.
研究的目的:
- 为医学图像分类提出一种新的知识增强模型 (KEM).
- 利用医学大视觉语言模型 (医学LVLMs) 作为领域专家来生成描述性先验.
- 通过整合文本和视觉信息来改善细微疾病模式的识别.
主要方法:
- 凯姆要求医疗LVLMs生成输入图像的多维临床描述.
- 使用双重交叉注意模块,描述性先验被编码并与视觉特征融合.
- 该模块促进了双向交互和文本和视觉模式之间的对齐.
主要成果:
- 拟议的KEM方法显著优于最先进的仅视觉模型.
- 在不同的临床环境中,KEM表现出强大的概括能力.
- 在四个基准数据集上进行了实验,以验证模型的性能.
结论:
- 通过描述性先验,KEM有效地将医疗专业知识纳入图像分类中.
- 该模型通过对准文本和视觉线索来增强细微疾病模式的识别能力.
- 凯姆为更准确,更可靠的医学图像诊断提供了一种有前途的方法.
更多相关视频
05:47Evidence-based Knowledge Synthesis and Hypothesis Validation: Navigating Biomedical Knowledge Bases via Explainable AI and Agentic Systems
Published on: June 13, 2025
1.3K
05:56Objectification of Tongue Diagnosis in Traditional Medicine, Data Analysis, and Study Application
Published on: April 14, 2023
3.2K
