MT-FiST:一个多任务细粒度的空间时间框架,用于手术行动三重识别

科学领域:

• 计算机辅助手术是计算机辅助的手术.
• 医学图像分析分析 医学图像分析
• 手术机器人手术机器人手术机器人手术机器人

背景情况:

• 手术行动三重识别对于计算机辅助手术至关重要.
• 目前的方法缺乏细粒度子类区分和时间相关性分析.
• 手术三胞胎 (仪器,动词,目标) 提供详细的场景信息.

研究的目的:

• 提出一个多任务细粒度的时空框架 (MT-FiST) 进行外科手术行动三重识别.
• 为了解决区分细粒度子类和捕捉时间动态的局限性.
• 在计算机辅助的外科环境中加强决策.

主要方法:

• 开发了一个多任务细粒度的时空框架 (MT-FiST).
• 使用多标签的共同道损失与多样性和歧视性组件.
• 采用部分共享参数LSTM单位用于时间相关性捕获.

主要成果:

• 在CholecT50数据集上,MT-FiST的表现优于最先进的模型.
• 在仪器,动词,目标和三元识别的平均平均精度 (mAP) 中取得了显著的改进.
• 在细粒度子类识别和时间分析中表现出卓越的性能.

结论:

• 拟议的MT-FiST框架有效地增强了手术行动三重识别.
• MT-FiST通过时间聚合和细粒度特征学习来改进情境感知外科助理系统.
• 这一进步有助于更精确和更知情的计算机辅助手术.