Calidad de la canalización de datos: desarrollo y validación de una herramienta de evaluación de la calidad para...

Área de la Ciencia:

• Evaluación de tecnologías sanitarias
• Informática médica
• Validación de algoritmos

Sus antecedentes:

• Los algoritmos basados en datos se utilizan cada vez más en la atención sanitaria.
• Faltan herramientas estandarizadas de evaluación de la calidad para estos algoritmos, en particular para sus canalizaciones de datos.
• Las herramientas existentes no abordan adecuadamente los matices de la IA y los estudios observacionales en la atención sanitaria.

Objetivo del estudio:

• Desarrollar y validar una herramienta para la evaluación estandarizada de la calidad de los algoritmos sanitarios basados en datos.
• Centrar la herramienta de evaluación en la canalización de datos crítica de estos algoritmos.
• Abordar la necesidad de una evaluación fiable en el desarrollo de algoritmos.

Principales métodos:

• Se desarrolló la Herramienta de Evaluación de Datos para la Evaluación Crítica de Algoritmos y Evidencia Robusta (DATA-CARE).
• DATA-CARE se basó en el marco de Calidad en Estudios de Pronóstico y revisó 10 herramientas existentes.
• La herramienta evalúa cinco dominios: población, datos, algoritmo, resultado y transparencia de la información, con una puntuación total de 75 puntos.
• La validación implicó una revisión sistemática de algoritmos de unidades de cuidados intensivos pediátricos, con dos revisores independientes y análisis ICC.

Principales resultados:

• DATA-CARE mostró una alta concordancia interevaluador (93,5%) y un ICC de 0,98.
• En la validación, se revisaron 31 estudios, y la mayoría mostró una calidad baja (32,3%) o moderada (41,9%).
• Solo el 25,8% de los estudios fueron calificados como de alta calidad.

Conclusiones:

• La prevalencia de estudios de calidad baja a moderada pone de manifiesto importantes barreras para la implementación de algoritmos basados en datos en la práctica clínica.
• Los problemas clave incluyen la mala captura/procesamiento de datos, la validación inadecuada y la información no transparente.
• DATA-CARE proporciona un método estandarizado y fiable para evaluar algoritmos, llenando una brecha crítica en la investigación reproducible.