利用文本解剖学知识来实现类不平衡的半监督多器官细分
IEEE transactions on medical imaging
|January 12, 2026
概括
本研究引入了一种新的方法,使用多模态大语言模型 (MLLM) 来提取半监督的多器官细分的解剖学先验,通过利用文本见解来提高器官本地化和形状可信度,显著提高准确性.
科学领域:
- 医学图像分析 医学图像分析
- 人工智能的人工智能
- 计算解剖学的计算解剖学
背景情况:
- 半监督的多器官细分由于不平衡的阶级分布而面临挑战.
- 整合解剖学知识是解决这些细分困难的关键策略.
研究的目的:
- 探索使用多模态大语言模型 (MLLM) 来提取解剖学先验.
- 通过结合文本解剖见解来改善半监督的多器官细分.
主要方法:
- 使用GPT-4o生成器官位置关系和形状的文本描述作为解剖学先验.
- 将这些文本先验集成到一个细分模型的头部.
- 采用对比学习,使文字先验与视觉特征保持一致.
主要成果:
- 拟议的方法在最先进的方法中显示出显著的性能改进.
- 器官间位置先验有助于定位较小的器官相对于较大的器官.
- 器官形状的先验增强了学习的形态结构的解剖学可信性.
结论:
- 来自MLLM的解剖学先验对于增强半监督多器官细分是有效的.
- 通过对比学习整合文本和视觉特征可以提高细分精度和解剖正确性.


