Lista de verificación STAGER: directrices estandarizadas de prueba y evaluación para valorar la fiabilidad de la...

Área de la Ciencia:

• Informática Médica
• Inteligencia Artificial
• Tecnología Sanitaria

Sus antecedentes:

• La inteligencia artificial generativa (IA) muestra una gran promesa en medicina, pero su implementación se ve obstaculizada por la falta de marcos de evaluación estandarizados y problemas metodológicos en la investigación actual.
• La evaluación fiable y coherente de la IA generativa en la atención sanitaria requiere directrices de evaluación estandarizadas.

Objetivo del estudio:

• Desarrollar directrices estandarizadas y sólidas para evaluar el rendimiento de la IA generativa en aplicaciones médicas.
• Proporcionar un enfoque sistemático para evaluar la utilidad y fiabilidad de la IA generativa en entornos sanitarios.

Principales métodos:

• Se realizó una revisión exhaustiva de la literatura en Web of Science, Cochrane Library, PubMed y Google Scholar, centándose en estudios que evalúan la IA generativa en medicina.
• Un equipo multidisciplinario de expertos participó en sesiones de discusión para formular una lista de verificación detallada de 32 elementos.
• El marco desarrollado cubre aspectos críticos de evaluación, incluida la formulación de preguntas, los métodos de consulta y las técnicas de evaluación.

Principales resultados:

• Se creó una lista de verificación completa de 32 elementos y un marco de evaluación más amplio para guiar la evaluación de la IA generativa en contextos médicos.
• El marco ofrece una vía clara desde el desarrollo de la pregunta inicial hasta la evaluación final de los resultados.
• Aborda los desafíos potenciales y mejora la calidad y la presentación de informes de la investigación que involucra IA generativa en medicina.

Conclusiones:

• El marco desarrollado proporciona un método estandarizado y sistemático para probar la aplicabilidad de la IA generativa en medicina.
• Este enfoque tiene como objetivo mejorar la calidad de la investigación y la presentación de informes, facilitando el avance de la IA generativa en las ciencias médicas y de la vida.
• Las directrices son cruciales para garantizar la evaluación fiable y coherente de las herramientas de IA generativa en la atención sanitaria.