TriQuery:一个基于查询的模型,用于手术三重体识别

科学领域:

• 医疗人工智能 医疗人工智能
• 计算机视觉 计算机视觉
• 手术技术 手术技术

背景情况:

• 手术视频动作识别对于智能手术系统的手术内理解和决策支持至关重要.
• 挑战包括时间连续性和外科手术三重的复杂分布 (仪器,动词,目标).

研究的目的:

• 提出TriQuery,一个基于查询的模型,用于手术三重体的识别和分类.
• 为了提高手术视频分析的准确性和可解释性.

主要方法:

• 在TriQuery中,我们使用了多任务的Transformer框架,并使用了特定任务的查询令牌.
• 它采用专门的注意力机制,一个多查询解码头 (MQ-DH) 和一个Top-K指导查询更新 (TKQ) 模块用于时间线索.

主要成果:

• 在多个分类任务中,TriQuery在CholecT45数据集上表现出比现有的基线更好的性能.
• 注意力可视化证实,任务查询侧重于相关的空间区域,提高了模型的可解释性.

结论:

• TriQuery有效地促进了对临床应用的外科视频理解.
• 基于查询的方法为复杂的外科手术行为识别提供了一个有希望的方向.