像素智能识别用于整体的手术场景理解
Nicolás Ayobi1, Santiago Rodríguez1, Alejandra Pérez1
1Center for Research and Formation in Artificial Intelligence (CinfonIA), Universidad de los Andes, Carrera 1 No. 18a-12, 111711 Bogota, Colombia.
Medical image analysis
|August 7, 2025
概括
本研究介绍了GraSP数据集,用于全面了解外科手术场景,以及TAPIS模型,在内镜视频中实现识别外科手术阶段,步骤和仪器的最新性能.
科学领域:
- 医学图像分析 医学图像分析
- 计算机视觉 计算机视觉
- 手术机器人手术机器人手术机器人手术机器人
背景情况:
- 了解手术现场对于改善患者的治疗结果至关重要.
- 现有的数据集缺乏对像前列腺切除术这样的复杂手术的多粒度分析能力.
研究的目的:
- 介绍前列腺切除术整体和多粒度手术场景理解 (GraSP) 数据集.
- 开发一个多功能模型 (TAPIS) 进行全面的手术场景分析.
主要方法:
- 创建了GraSP数据集,通过多个细节 (阶段,步骤,操作,仪器) 建模外科理解.
- 开发了行动,阶段,步骤和仪器细分 (TAPIS) 模型的变压器,集成全球特征和本地化仪器建议.
主要成果:
- 塔皮斯在GraSP数据集和其他基准指标上展示了最先进的性能.
- 该模型有效地处理长期 (阶段/步骤识别) 和短期 (仪器细分/动作检测) 任务.
结论:
- 格拉斯普数据集为整体的外科手术场景理解提供了一个基本的基准.
- 塔皮斯模型为推进内镜视觉和外科分析研究提供了一个多功能框架.
