SurgLaVi: Conjunto de datos jerárquico a gran escala para el aprendizaje de representación de visión y lenguaje en...

Área de la Ciencia:

• Visión por Computadora
• Inteligencia Artificial
• Informática Médica

Sus antecedentes:

• El preentrenamiento de visión y lenguaje (VLP) muestra una gran promesa para el análisis de vídeos quirúrgicos, pero está limitado por conjuntos de datos pequeños y no diversos.
• Los conjuntos de datos de VLP quirúrgicos existentes carecen de escala, variedad de procedimientos, profundidad semántica y estructura jerárquica.

Objetivo del estudio:

• Presentar SurgLaVi, el conjunto de datos quirúrgico de visión y lenguaje más grande y diverso.
• Permitir modelos avanzados de IA para la comprensión y generalización del flujo de trabajo quirúrgico.
• Proporcionar un conjunto de datos accesible y de código abierto (SurgLaVi-β) para una investigación más amplia.

Principales métodos:

• Desarrollaron un pipeline totalmente automatizado para generar transcripciones y segmentaciones detalladas de vídeos quirúrgicos.
• Implementaron el filtrado de modalidad dual para garantizar anotaciones de alta calidad y semánticamente ricas.
• Crearon SurgCLIP, un marco de contraste de vídeo y texto al estilo CLIP, para evaluar la utilidad del conjunto de datos.

Principales resultados:

• SurgLaVi contiene casi 240 000 pares de clips y subtítulos en más de 200 procedimientos con anotaciones jerárquicas.
• SurgLaVi-β ofrece 113 000 pares de clips y subtítulos de datos públicos, significativamente más grandes que los conjuntos de datos anteriores.
• SurgCLIP demostró mejoras sustanciales en el reconocimiento de fases, pasos, acciones y herramientas quirúrgicas.

Conclusiones:

• Los conjuntos de datos a gran escala, semánticamente ricos y estructurados jerárquicamente son cruciales para desarrollar una IA quirúrgica robusta.
• SurgLaVi es un recurso clave para avanzar en los modelos fundacionales quirúrgicos y las aplicaciones quirúrgicas impulsadas por IA.
• El conjunto de datos facilita una mejor comprensión y generalización en el análisis de vídeos quirúrgicos.