提高皮肤损伤诊断的解释:对视觉语言模型的概念自适应微调

科学领域:

• 人工智能的人工智能
• 医疗成像医学成像
• 计算机视觉 计算机视觉

背景情况:

• 对于皮肤病变诊断的深度学习模型缺乏解释性,限制了临床使用.
• 基于概念的模型提供可解释性,但在数值输出方面存在困难.
• 预先训练的视觉语言模型 (VLMs) 需要大量的数据来完成专门的医疗任务,这是由于域差异.

研究的目的:

• 开发一个基于概念的,多模体可解释的皮肤病变诊断模型,使用微调的VLM.
• 提高皮肤病变的AI模型的可解释性和诊断性能.
• 为了使VLM能够有效地适应有限数据的医疗任务.

主要方法:

• 提出了一个概念适应微调 (CptAFT) 方法,利用BiomedCLIP VLM.
• 嵌入的医疗文本 (报告,概念术语) 用于细粒度的特征识别和自然语言解释性.
• 开发了一种概念适应技术,涉及图像重建和一致性损失,以便快速适应VLM.

主要成果:

• 与最先进的模型相比,CptAFT方法实现了优越的分类性能和医学解释性.
• 经过微调以最小的数据后,显著提高了概念识别能力 (比 MONET 高出 8.28%).
• 突出了模型的稳定性和自然语言驱动的可解释性.

结论:

• 拟议的CptAFT方法有效地解决了AI驱动的皮肤病变诊断中的可解释性挑战.
• 这种方法使VLM能够有效地适应专业医疗领域,而数据需求减少.
• 该模型提供了强大的,可解释的诊断,为临床采用铺平了道路.