El rendimiento de ChatGPT en la estimación del tamaño de la muestra: un estudio preliminar sobre las capacidades de...

Área de la Ciencia:

• Metodología de la investigación clínica
• Computación estadística
• Inteligencia artificial en el cuidado de la salud

Sus antecedentes:

• La inteligencia artificial (IA) y los grandes modelos de lenguaje (LLM) como ChatGPT se utilizan cada vez más en la investigación clínica.
• La utilidad de estas herramientas de IA para tareas estadísticas especializadas, como la estimación del tamaño de la muestra, no se comprende bien.

Objetivo del estudio:

• Evaluar la precisión y la reproducibilidad de ChatGPT-4.0 y ChatGPT-4o en la realización de estimaciones del tamaño de la muestra.
• Comparar el rendimiento de diferentes versiones de ChatGPT para cálculos estadísticos en la investigación.

Principales métodos:

• Se realizaron cálculos del tamaño de la muestra para 24 escenarios estadísticos estándar utilizando ChatGPT-4.0 y ChatGPT-4o.
• La precisión se midió por error porcentual absoluto con respecto a los valores de referencia.
• La reproducibilidad se evaluó comparando los resultados de sesiones de chat independientes.

Principales resultados:

• Tanto ChatGPT-4.0 como ChatGPT-4o proporcionaron estimaciones del tamaño de la muestra razonablemente precisas, con la mayoría de los errores por debajo del 5%.
• ChatGPT-4o demostró una precisión superior y una reproducibilidad ligeramente mejor en comparación con ChatGPT-4.0.
• Las inconsistencias observadas destacan la necesidad de una revisión cuidadosa de las estimaciones generadas por la IA.

Conclusiones:

• ChatGPT-4.0 y ChatGPT-4o pueden ser herramientas útiles para la estimación preliminar del tamaño de la muestra en escenarios de investigación estándar.
• Los usuarios deben tener cuidado y buscar la validación de expertos para los resultados estadísticos generados por la IA.
• Se necesitan más investigaciones para tareas estadísticas complejas y una gama más amplia de modelos de IA.