在手术视频中进行无培训的时间物体跟踪

科学领域:

• 医学图像分析 医学图像分析
• 计算机视觉 计算机视觉
• 手术技术 手术技术

背景情况:

• 在腹腔镜胆囊切除术 (LC) 视频中精确追踪解剖结构和仪器对于外科安全和训练至关重要.
• 由于像素级注释的高成本和数据不一致性,现有的方法面临挑战.
• 在外科视频分析中,需要高效准确的物体跟踪解决方案.

研究的目的:

• 在LC手术视频中展示在线对象跟踪的新方法.
• 针对关键解剖结构和手术仪器的定位和跟踪.
• 为了克服昂贵的注释和标签不一致现有数据集的局限性.

主要方法:

• 利用预先训练的文本到图像扩散模型,在没有微调的情况下进行特征提取.
• 利用提取的特征和跨框架交互通过时间连续性的亲和矩阵.
• 采用一个查询-关键-值引起注意的机制,以实现强大的跟踪.

主要成果:

• 扩散特征证明了优越的对象定位和语义一致性跨和解码器级别.
• 拟议的追踪框架优于时间对象追踪的现有方法.
• 在CholeSeg8K数据集上实现了每像素准确度的79.19%,雅卡德分数的56.20%,F分数的79.48.

结论:

• 在外科视频分析中引入了文本到图像扩散模型的新应用.
• 在微创手术中提供了一种经济高效且准确的解决方案,用于在微创手术中追踪时间对象.
• 通过改进的追踪能力,推进外科视频分析领域.