Frankenstein, el análisis temático y la inteligencia artificial generativa: métodos de evaluación de la calidad y...

Área de la Ciencia:

• Métodos de investigación cualitativa
• La inteligencia artificial en la investigación
• Análisis de datos de las ciencias de la salud

Sus antecedentes:

• La creciente adopción de la Inteligencia Artificial Generativa (GenAI) requiere la validación para el análisis cualitativo de los datos.
• La evaluación de la fiabilidad y la idoneidad de GenAI para el análisis temático es crucial para los investigadores.

Objetivo del estudio:

• Determinar la exactitud y la eficiencia del uso de GenAI para el análisis temático.
• Proponer un método para evaluar la fiabilidad de los resultados de GenAI en la investigación cualitativa.

Principales métodos:

• Búsqueda en bases de datos y revistas de estudios relacionados con la salud con análisis temáticos y conjuntos de datos publicados.
• Prompted Microsoft Copilot (un sistema cerrado GenAI) para realizar análisis temáticos en conjuntos de datos seleccionados.
• Comparó los resultados de GenAI con los análisis humanos, midiendo el tiempo, la precisión, la superposición de temas y la fiabilidad de las citas.

Principales resultados:

• Mínimo solapamiento entre los temas identificados por el ser humano y los temas de Copilot; Copilot a menudo fabricaba citas (58%) y se centraba en secciones de datos limitadas.
• Los análisis en humanos demostraron una representación más amplia y una mayor precisión de las citas (79%).
• Copilot no proporcionó una distribución de los participantes por tema, a diferencia de los investigadores humanos.

Conclusiones:

• Las versiones actuales de GenAI, como Copilot, no se recomiendan para el análisis temático debido a inexactitudes y falta de fiabilidad.
• El estudio pone de relieve preocupaciones significativas con respecto a la validez tanto del análisis de datos cualitativos generados por humanos como de los generados por GenAI.