用LoRA调整的视觉语言模型在超声波中进行文本诱导的多器官细分
IEEE transactions on ultrasonics, ferroelectrics, and frequency control
|September 2, 2025
概括
这项研究引入了一个以提示驱动的视觉语言模型 (VLM),用于在各种器官中准确的超声波对象细分. 这种新的方法增强了概括性,减少了对特定器官进行广泛注释的数据集的需求.
科学领域:
- 医学成像
- 计算机视觉
- 人工智能
背景情况:
- 超声波对象细分面临由于解剖学变异性和有限的注释数据的挑战.
- 现有的方法往往需要特定器官的培训,这阻碍了广泛的应用.
研究的目的:
- 在超声波中开发一个提示驱动的视觉语言模型 (VLM).
- 将接地DINO与SegmentAnything Model 2 (SAM2) 集成,用于多器官超声波细分.
主要方法:
- 使用了18个公共超声数据集, 包括乳腺,甲状腺,肝脏,前列腺,脏和脊柱肌肉.
- 在15个数据集上使用低等级适应 (LoRA) 微调接地DINO,其中3个被保留用于测试.
- 与UniverSeg,MedSAM和MedCLIP-SAM等最先进的方法进行性能评估.
主要成果:
- 在大多数经过测试的超声波数据集上,拟议的VLM方法表现出卓越的性能.
- 在未见的数据集上实现了强大的概括能力,
- 优于已有的细分方法,包括UniverSeg,MedSAM,MedCLIP-SAM,BiomedParse和SAMUS.
结论:
- 视觉语言模型显示了可扩展和强大的超声波图像分析的重大前景.
- 开发的方法减少了对大型,特定器官的注释数据集的依赖.
- 在接受后,代码将在 code.sonography.ai 上公开.
