使用深度视觉语言模型可以提高内镜耳鼻喉外科手术的辅助应用中的多任务性能
Richard Bieck1, Martin Sorge2, Katharina Heuermann2
1Innovation Center Computer Assisted Surgery (ICCAS), Leipzig University, Semmelweisstraße 14, 04103, Leipzig, Germany. Richard.bieck@medizin.uni-leipzig.de.
International journal of computer assisted radiology and surgery
|December 22, 2025
概括
本研究介绍了用于内镜耳鼻喉手术的视觉语言模型 (VLM),增强图像分类和报告生成. VLM集成视觉和文本数据,优于现有的多任务辅助模型.
科学领域:
- 医疗人工智能 医疗人工智能
- 计算机视觉 计算机视觉
- 自然语言处理自然语言处理.
背景情况:
- 目前用于内镜辅助的深度学习模型主要使用基于图像的任务.
- 自然语言处理的整合是有限的,阻碍了全面的援助能力.
研究的目的:
- 开发和评估一种视觉语言模型 (VLM),用于内镜耳鼻喉手术中的多任务学习.
- VLM的目标是执行图像分类,文本预测和手术报告生成.
主要方法:
- 采用了一个VLM架构,用于图像和文本嵌入的域偏向编码器.
- 该模型在30个内镜手术 (13万张图像,报告) 的新多任务数据集上进行了训练.
- 根据基线,EndoVit和SurgicalGPT模型对两个VLM变异进行了评估,使用精度,回忆,F1得分,BLEU-2,ROUGE-L和等号相似性.
主要成果:
- 该VLM提高了图像分类F1得分高达12%,文本生成高达14%.
- 域特定的VLM略高于EndoVit和外科GPT.
- 除研究表明,视觉组件有利于语言任务,而文本对地标检测的影响最小.
结论:
- 开发了一种新的VLM用于内镜耳鼻喉辅助,集成图像和文本数据.
- VLM取代了三个孤立的模型,提供多任务辅助,并超越了以前的通用基线.
- 未来的工作需要解决不平衡的阶级分布,并改进结构化文本生成.


