捕捉行动三重相关性,以准确识别手术活动

科学领域:

• 计算机辅助手术是计算机辅助的手术.
• 医疗图像分析 医学图像分析
• 手术机器人手术机器人手术机器人手术机器人手术机器人

背景情况:

• 准确的手术活动识别对于计算机辅助手术的实时决策支持至关重要.
• 以<仪器,动词,目标>三胞胎来表示细粒度的外科手术是关键.
• 一个主要的挑战是捕捉这些动作三胞胎及其组件之间的相关性.

研究的目的:

• 为准确的外科手术活动识别提出一个新的框架.
• 在功能和输出层面捕捉行动三重关联.
• 提高计算机辅助手术系统的决策支持.

主要方法:

• 使用基于变压器的时空特征提取器与带状因果面具.
• 开发了一个基于图形卷积网络 (GCNs) 的模块 (TripletGCN),通过捕获三重相关性来增强功能.
• 实施了对抗性学习过程 (TripletAL) 以对齐联合三重分布以改善相关性.

主要成果:

• 在CholecT45数据集上获得了41.5%的平均平均精度 (mAP).
• 在CholecT50数据集上获得了42.5%的平均mAP.
• 在SARAS-MESAD数据集上证明了用于动词-目标对识别的概括能力.

结论:

• 拟议的框架有效地捕捉了行动三重相关性,以提高手术活动的识别.
• 该方法在公共数据集上显示了显著的性能改进.
• 这种方法有望在计算机辅助手术中推进实时决策支持.