在手术视频中用于视频语义细分的时空网络
Maria Grammatikopoulou1, Ricardo Sanchez-Matilla2, Felix Bragman2
1Medtronic plc, London, UK. maria.grammatikopoulou@medtronic.com.
概括
这项研究引入了一种用于手术视频的新型时细分模型,提高了解剖识别准确度和患者安全. 该模型改善了时间一致性,这对于可靠的手术内指导和外科教育至关重要.
科学领域:
- 计算机视觉 计算机视觉
- 医疗成像医学成像
- 手术技术 手术技术
背景情况:
- 手术视频中的语义细分对于手术指导,术后分析和手术教育至关重要.
- 在解剖学识别中的时间不一致性可能会危及患者的安全.
- 对于临床应用,需要准确且时间一致的细分模型.
研究的目的:
- 提出一种用于在手术视频中建模时间关系的新型架构.
- 为了提高手术视频中语义细分的准确性和时间一致性.
- 解决静态模型在捕捉时间动态方面的局限性.
主要方法:
- 开发了一种具有静态编码器和时空解码器的时空细分模型.
- 编码器处理单个,而解码器从序列中学习.
- 拟议的解码器旨在与现有编码器兼容.
主要成果:
- 在CholecSeg8k和私人部分切除术数据集上进行评估.
- 与时间解码器相比,欧盟的平均交叉点 (IoU) 改进了1.30%和4.27%.
- 在时间一致性方面,已经证明了高达7.23%的改善.
结论:
- 拟议的模型推进了手术场景中的语义细分.
- 时间解码器增强了最先进的静态模型.
- 改进的细分精度和时间一致性可以带来更好的患者结果.
