仪器组织引导的外科手术行动三重体检测通过文本时间轨迹探索.

科学领域:

• 计算机视觉 计算机视觉
• 医疗成像医学成像
• 手术机器人手术机器人手术机器人手术机器人

背景情况:

• 手术行动三重检测对于理解腹腔镜手术至关重要.
• 准确的仪器定位和动作识别仍然具有挑战性.
• 现有的方法很难充分利用空间和语义信息.

研究的目的:

• 开发一种用于同时进行手术仪器定位和动作三重识别的方法.
• 增强对手术内外科手术场景的全面理解.
• 为了提高外科手术工作流分析的准确性.

主要方法:

• 建议使用伪定位标签的仪器组织引导三重探测器 (ITG-Trip).
• 实现了视觉语言关联 (VLA) 模块,配备了预先训练的文本编码器,用于文本线索.
• 引入了Mamba增强的时空感知 (MSP) 解码器,集成了Mamba和变压器块.

主要成果:

• 在CholecT50基准指标上,ITG-Trip显著超过了最先进的方法.
• 在仪器定位和动作三重检测方面都取得了卓越的性能.
• 展示了视觉,文字和时间信息的有效整合.

结论:

• 拟议的ITG-Trip方法通过改进的动作三重检测和仪器定位来增强外科现场的理解.
• 视觉语言关联和Mamba增强的时空感知的整合是有效的.
• 这项工作推动了手术自动化工作流分析领域的发展.