仪器与组织相互作用检测框架用于手术视频理解

科学领域:

• 计算机视觉 计算机视觉
• 医疗成像医学成像
• 手术机器人手术机器人手术机器人手术机器人

背景情况:

• 仪器与组织相互作用的检测对于计算机辅助手术系统至关重要.
• 现有的方法缺乏对仪器和组织的细粒度检测,并且不能完全模拟框架间的关系.
• 准确理解手术活动需要详细的相互作用分析.

研究的目的:

• 提出一种新的方法,用于在手术视频中详细检测仪器-组织相互作用.
• 开发一个仪器-组织相互作用检测网络 (ITIDNet),能够检测仪器-组织相互作用作为结构化的五倍.
• 通过改进的视频分析,增强对手术活动的理解.

主要方法:

• 代表仪器-组织相互作用为五重体: 仪器类,仪器界限盒,组织类,组织界限盒,作用类.
• 引入片段连续特征 (SCF) 层,以模拟视频片段中的关系.
• 建议一个空间对应的注意力 (SCA) 层用于框架间的特征整合.
• 使用时间图 (TG) 层推理内部和内部框架仪器-组织关系.

主要成果:

• 拟议的ITIDNet在检测仪器-组织相互作用方面表现出卓越的性能.
• 该模型在新创建的白内障 (PhacoQ) 和胆囊切除术 (CholecQ) 手术视频数据集上超过了现有的最先进的方法.
• SCF,SCA和TG层有效地增强了特征表示和关系建模.

结论:

• 开发的ITIDNet提供了一个强大的框架,用于在手术视频中详细检测仪器-组织相互作用.
• 拟议的方法显著推进了手术视频理解和计算机辅助手术领域.
• 新的数据集和模型为未来的手术活动识别研究提供了宝贵的资源.