在白内障手术视频中提高语义细分的可靠性 通过相内标签传播来提高语义细分的可靠性

科学领域:

• 眼科医生 眼科 眼科
• 计算机视觉 计算机视觉
• 医疗成像医学成像

背景情况:

• 对仪器进行准确的语义细分对于白内障手术辅助和技能评估至关重要.
• 现有的方法在手术阶段的实例级特征相似性方面扎,导致不可靠的仪器分类.
• 手术视频中的模糊边缘对精确的物体划分构成挑战.

研究的目的:

• 开发一个强大的标签传播框架,用于精确的白内障手术视频的语义细分.
• 为了利用特定阶段的仪器一致性来提高细分性能.
• 解决诸如模糊边缘等挑战,并确保实时适用性.

主要方法:

• 一个标签传播框架,利用初始标签来预测后续的面具.
• 一种伪标签生成和过策略,用于获得可靠的初始标签.
• 一个固定大小的内存库,配有自适应更新模块和语义边缘感知模块.

主要成果:

• 在14类公共数据集上实现了80.7%的mIoU,在12类私人数据集上达到88.8%的mIoU.
• 显著优于先进的技术和基于标签传播的其他方法.
• 证明了尽量减少内存消耗,并保持了~30 FPS的处理速度.

结论:

• 拟议的标签传播框架使白内障手术视频的精确和可靠的语义细分成为可能.
• 该方法有效地处理实例级特征相似性和模糊边缘,改善外科视频分析.
• 这种方法为现实世界手术应用提供了计算效率高,准确的解决方案.