Inteligencia artificial para la acreditación automática de FLS: resaltando y abordando las limitaciones actuales

Área de la Ciencia:

• Educación médica
• La inteligencia artificial en la cirugía
• Evaluación de las habilidades quirúrgicas

Sus antecedentes:

• La Inteligencia Artificial (IA) ofrece potencial para automatizar la evaluación de habilidades técnicas en la capacitación quirúrgica.
• La acreditación impulsada por la IA para los Fundamentos de la Cirugía Laparoscópica (FLS) podría mejorar la consistencia y reducir los costos de supervisión.
• Los estudios de IA existentes carecen de fiabilidad para evaluaciones de alto riesgo debido a la validación y el modelado limitados.

Objetivo del estudio:

• Desarrollar y validar un nuevo sistema basado en la inteligencia artificial para evaluar la tarea de transferencia de fijación FLS utilizando grabaciones de video.
• Mejorar la fiabilidad y precisión de los modelos de IA para la evaluación de las habilidades quirúrgicas a través de técnicas avanzadas de posprocesamiento.
• Establecer nuevas métricas para medir la capacidad del sistema de IA para replicar la evaluación humana de expertos.

Principales métodos:

• Un nuevo enfoque de IA analiza los fotogramas de video para rastrear los estados de los objetos y clasificar las acciones quirúrgicas durante la tarea de transferencia de la clavija FLS.
• Múltiples modelos de IA generan predicciones, refinadas por dos técnicas de post-procesamiento para la consistencia temporal y la precisión de la tarea.
• Se han introducido las métricas de "precisión de transferencia" y "recuerdo de transferencia" para evaluar la replicación de las evaluaciones a nivel de control por parte de la IA.

Principales resultados:

• Los modelos individuales de IA lograron una alta precisión (> 99%) para la predicción del estado de anclaje y un buen rendimiento (puntuación f1 > 78%) para el reconocimiento de la acción.
• Sin posprocesamiento, la precisión de transferencia y el recuerdo fueron bajos (22,86% y 55,56% respectivamente).
• Con el posprocesamiento propuesto, la precisión de transferencia y el recuerdo mejoraron significativamente a 80,44% y 96,51%, respectivamente.

Conclusiones:

• La validación y el modelado específicos de la tarea son cruciales para desarrollar sistemas de IA confiables para la acreditación automatizada.
• El marco y las métricas de IA propuestas ofrecen pautas generalizables para herramientas de evaluación confiables basadas en IA en la capacitación quirúrgica.
• Este sistema de IA demuestra el potencial para una evaluación robusta tanto en entornos quirúrgicos simulados como reales.