SSIFNet: Red de fusión de información estéreo espacio-temporal para el vídeo quirúrgico auto-supervisado

Área de la Ciencia:

• Imágenes médicas
• Visión por computadora
• Cirugía robótica

Sus antecedentes:

• La cirugía mínimamente invasiva asistida por robots se basa en endoscopios estéreo para la guía.
• Los campos de visión restringidos y las oclusiones de los instrumentos plantean desafíos significativos de visualización.
• Los puntos de referencia anatómicos ocluidos impiden una evaluación quirúrgica precisa.

Objetivo del estudio:

• Proponer una nueva red de capacitación de extremo a extremo, SSIFNet, para la creación de vídeos quirúrgicos.
• Para abordar el desafío de las oclusiones de instrumentos en la cirugía endoscópica asistida por robot.
• Mejorar la visualización reconstruyendo regiones ocultas en escenas quirúrgicas.

Principales métodos:

• SSIFNet desarrollado, con propagación de característica deformable guiada por flujo óptico (OFDFP), transformador focal estéreo espacio-temporal (S2FT) y módulos de cumplimiento de la consistencia estéreo (SE).
• Entrenamiento empleado auto-supervisado con oclusiones simuladas utilizando una nueva función de pérdida.
• Completación de flujo integrado, coincidencia de disparidad, consistencia de deformación cruzada, consistencia de deformación, imagen y términos de pérdida adversos.

Principales resultados:

• SSIFNet pinta con éxito regiones ocultas en vídeos quirúrgicos, manteniendo la coherencia espacial, temporal y estéreo.
• La red logra reconstrucciones de oclusión de alta fidelidad y exactitud en ambas vistas estéreo.
• Los resultados experimentales demuestran la superioridad de SSIFNet sobre los métodos más avanzados de videoinpainting.

Conclusiones:

• SSIFNet supera efectivamente los desafíos de visualización causados por las oclusiones de instrumentos en la cirugía asistida por robots.
• El método propuesto mejora la comprensión de la escena quirúrgica al proporcionar reconstrucciones consistentes y precisas.
• SSIFNet ofrece una solución prometedora para mejorar la orientación por imágenes en procedimientos mínimamente invasivos.