CBVLM:用于医学图像分类的无培训可解释的基于概念的大视觉语言模型.
Cristiano Patrício1, Isabel Rio-Torto2, Jaime S Cardoso3
1Universidade da Beira Interior, Covilhã, Portugal; INESC TEC, Faculdade de Engenharia, Universidade do Porto, Rua Dr. Roberto Frias, 4200-465 Porto, Portugal; NOVA LINCS, Portugal.
Computers in biology and medicine
|October 11, 2025
概括
本研究介绍了CBVLM,一种使用大型视觉语言模型 (LVLMs) 的新方法,以提高医疗AI的解释性并减少数据注释需求. 在使用最小的数据的情况下,CBVLM实现了与现有方法相比更高的性能.
科学领域:
- 人工智能的人工智能
- 医疗成像医学成像
- 机器学习 机器学习
背景情况:
- 在医学中采用深度学习面临的挑战是注释数据的可用性和模型的可解释性.
- 概念瓶模型 (CBM) 提供了可解释性,但增加了注释负担,并要求对新概念进行重新培训.
研究的目的:
- 提出CBVLM,一种利用大型视觉语言模型 (LVLMs) 的方法论,以解决医疗AI中的数据注释和可解释性挑战.
- 为了降低注释成本,提高医学图像分析中的可解释性.
主要方法:
- CBVLM 提示 LVLM 识别图像中的概念,然后根据这些概念对图像进行分类.
- 集成了一个检索模块,以实现高效的上下文学习,选择最佳示例.
- 该方法将最终诊断基于可解释性的预测概念.
主要成果:
- 在四个医疗数据集中,CBVLM的表现始终优于传统的CBM和监督方法.
- 该方法证明了使用十二种不同的LVLMs的有效性,包括通用和医疗.
- CBVLM 不需要模型培训和最小的注释示例,大大降低了注释成本.
结论:
- CBVLM为医疗人工智能提供了一个强大,可解释和数据效率高的解决方案.
- 通过利用LVLM的几次射击能力,CBVLM克服了医疗保健当前深度学习方法的关键局限性.
