Evaluación de la calidad de respuesta y la legibilidad de ChatGPT en la tartamudez

Área de la Ciencia:

• Patología del habla y el lenguaje
• Inteligencia artificial en la salud

Sus antecedentes:

• Las preguntas frecuentes sobre la tartamudez son comunes.
• ChatGPT (Generative Pre-trained Transformer) es un modelo de lenguaje de IA con una mayor accesibilidad.

Objetivo del estudio:

• Evaluar la comprensión y la precisión de ChatGPT al responder preguntas frecuentes relacionadas con la tartamudez.
• Evaluar el parecido humano percibido y la alineación profesional de las respuestas generadas por la IA.

Principales métodos:

• Se le hicieron once preguntas comunes de tartamudez a GPT-4o mini.
• Un panel de cinco patólogos del habla y el lenguaje certificados (SLPs) evaluó las respuestas de la IA para la precisión, el daño potencial y la alineación de consenso.
• Se analizaron las métricas de legibilidad (FRES, GFSL, D-CS) y las características lingüísticas.
• La correlación de rango de Spearman examinó las relaciones entre las evaluaciones de SLP y la legibilidad.

Principales resultados:

• El 45,5% de las respuestas de IA fueron identificadas erróneamente como escritas por humanos por los SLPs.
• El 83,6% de las respuestas fueron correctas, el 63,6% fueron inofensivas y el 38,2% causaron daño leve a moderado.
• El 62% de las respuestas se alinearon con el consenso de la comunidad SLP.
• Las puntuaciones de legibilidad indicaron texto adecuado para lectores de nivel universitario a graduado.
• Se encontraron correlaciones significativas entre los juicios SLP y las características de legibilidad.

Conclusiones:

• ChatGPT demuestra un gran potencial para responder a las preguntas frecuentes sobre la tartamudez de manera precisa y adecuada.
• El contenido generado por IA es percibido como altamente humano por los SLP.
• Las herramientas de IA deben utilizarse con fines educativos y no como sustituto del diagnóstico y tratamiento profesional de la patología del habla y el lenguaje.