SSIFNet:用于自我监督的外科视频绘制的时空立体信息融合网络

科学领域:

• 医学成像
• 计算机视觉
• 机器人手术

背景情况:

• 机器人辅助的微创手术依赖于立体内镜的指导.
• 有限制的视野和仪器遮蔽带来了显著的可视化挑战.
• 隐藏的解剖学标志阻碍了精确的外科评估.

研究的目的:

• 提出一个新的端到端可训练网络,SSIFNet,用于绘制外科视频.
• 解决机器人辅助内镜手术中的仪器阻塞问题.
• 通过在手术场景中重建封闭区域来增强可视化.

主要方法:

• 开发了SSIFNet,具有光流引导可变形特征传播 (OFDFP),时空立体焦点变压器 (S2FT) 和立体一致性强制 (SE) 模块.
• 使用新的损失函数进行模拟闭塞的自主监督培训.
• 整合流程完成,差异匹配,交叉扭曲一致性,扭曲一致性,图像和对抗性损失条款.

主要成果:

• 在手术视频中,SSIFNet成功地描绘了封闭区域,保持了空间,时间和立体一致性.
• 该网络在两种立体视图中实现了高保真性和准确的遮蔽重建.
• 实验结果表明SSIFNet在最先进的视频绘制方法上的优势.

结论:

• SSIFNet有效地克服了机器人辅助手术中仪器封闭所造成的可视化挑战.
• 通过提供一致和准确的重建, 提议的方法提高了手术场景的理解.
• SSIFNet为改善微创手术中的图像指导提供了一个有前途的解决方案.