手术仪器 - 组织相互作用识别与多任务注意力视频变压器
Lennart Maack1, Berk Cam2, Sarah Latus2
1Institute of Medical Technology and Intelligent Systems, Hamburg University of Technology, Hamburg, Germany. lennart.maack@tuhh.de.
International journal of computer assisted radiology and surgery
|November 10, 2025
概括
这项研究表明,细粒度的时间背景显著改善了手术仪器和组织相互作用的识别. 一个新的多任务注意模块 (MTAM) 通过整合时空特征来提高性能,以更好地进行手术分析.
科学领域:
- 计算机视觉 计算机视觉
- 医疗机器人 医疗机器人
- 手术分析 - 手术分析
背景情况:
- 手术仪器与组织相互作用的识别对于增强手术流程分析,自动化安全系统和微创手术技能评估至关重要.
- 当前的深度学习方法经常使用静态图像或粗略的时间采样,无法捕捉快速的手术动态.
研究的目的:
- 系统地研究细粒度时间背景对手术仪器-组织相互作用识别深度学习模型的影响.
- 评估最佳的时间采样率以捕捉外科动态.
主要方法:
- 在精选的视频数据集上使用了具有时空特征提取能力的视频变压器.
- 提出了一种新的多任务注意力模块 (MTAM),采用交叉注意力和一个门机制,以改善子任务通信 (工具,动作,目标识别).
主要成果:
- 细粒度时间背景显示了仪器-组织相互作用识别的显著益处,最佳采样速率为6-8Hz.
- 拟议的MTAM在CholecT45-Vid和GraSP-Vid数据集上表现优于最先进的方法,相对性能分别提高了4.8%和5.9%.
结论:
- 精细粒度的时间背景优于静态图像或粗的时间背景,用于手术仪器和组织相互作用的识别.
- 通过在多个子任务中利用具有时空特征的交叉注意力,可以提高识别性能.
