通过分段-然后-分类框架与实例级空间时间一致性建模进行手术仪器细分

科学领域:

• 机器人技术 机器人技术 机器人技术
• 计算机视觉 计算机视觉
• 医疗成像医学成像

背景情况:

• 精确的手术仪器细分对于机器人辅助手术和手术内分析至关重要.
• 现有的方法在空间完整性和时间稳定性方面扎,特别是在遮蔽或运动模糊的情况下.

研究的目的:

• 提出一个分段-然后-分类框架,将面具生成与语义分类脱.
• 在手术仪器分割中增强空间完整性和时间稳定性.
• 在具有挑战性的外科视频条件下提高解释性和稳定性.

主要方法:

• 利用基于Mask2Former的细分骨干来进行无类实例面具和区域特征生成.
• 采用了一个边界框引导的实例级空间时间建模模块.
• 使用轻量级变压器编码器融合几何先验和时间一致性.

主要成果:

• 在EndoVis数据集上实现了3.06%,2.99%和1.67%的平均交叉点在欧盟 (mIoU) 上的显著改进.
• 与最先进的方法相比,在平均对应交叉点对欧盟 (mcIoU) 的2.36%,2.85%和6.06%的实质性收益被证明.
• 保持了计算效率,同时提高了细分性能.

结论:

• 拟议的细分-然后-分类框架有效地提高了手术仪器细分的空间完整性和时间稳定性.
• 与基准数据集的现有方法相比,该框架显示出卓越的性能和稳定性.
• 这种方法为提高机器人辅助手术的准确性和可靠性提供了一个有希望的解决方案.