Evaluación de las respuestas de tres grandes modelos lingüísticos a las preguntas sobre la atención post-aborto en el...

Área de la Ciencia:

• Inteligencia artificial en el cuidado de la salud
• Procesamiento del lenguaje natural para información médica
• Tecnologías de salud reproductiva

Sus antecedentes:

• La evaluación de las capacidades de las herramientas avanzadas de IA, como los grandes modelos lingüísticos (LLM), es crucial para su integración segura y efectiva en la atención sanitaria.
• La información sobre la atención post-aborto (PAC, por sus siglas en inglés) debe ser precisa, accesible y confiable para las personas que buscan apoyo en salud reproductiva.
• La aplicación de las LLM para proporcionar información sanitaria, especialmente en áreas sensibles como la PAC, requiere una evaluación cuidadosa de su calidad de respuesta.

Objetivo del estudio:

• Evaluar el desempeño de tres LLM prominentes (ChatGPT, Kimi, Ernie Bot) en la respuesta a las consultas en idioma chino sobre la atención post-aborto (PAC).
• Evaluar la exactitud, relevancia, integridad, claridad y fiabilidad de las respuestas generadas por el LLM sobre la anticoncepción después del aborto inducido.
• Identificar posibles diferencias en la calidad de las respuestas entre los LLM evaluados e informar sobre su futura aplicación en las consultas de la PAC.

Principales métodos:

• Se formularon veinte preguntas distintas con respecto a la anticoncepción después del aborto y se les planteó tres veces cada una a ChatGPT, Kimi y Ernie Bot en chino.
• Las respuestas fueron evaluadas por tres consultores de PAC utilizando una escala de Likert, evaluando la precisión, relevancia, integridad, claridad y fiabilidad.
• Se realizó un análisis estadístico para comparar el rendimiento general y las puntuaciones de los criterios específicos en los tres LLM.

Principales resultados:

• En general, el 88,30% de las respuestas del LLM fueron calificadas como "buenas", sin diferencias significativas en la evaluación general entre los modelos (P = 0,352).
• Se obtuvieron puntuaciones altas para la relevancia (85,53%), la integridad (75,57%) y la claridad (73,87%), pero la precisión (48,33%) y la fiabilidad (71,10%) mostraron margen de mejora.
• Se encontró una diferencia estadísticamente significativa en la fiabilidad de las respuestas entre los LLM (P < 0,001), lo que indica variabilidad en la confiabilidad.

Conclusiones:

• Los LLM evaluados demuestran un potencial considerable para apoyar las consultas de PAC debido a su buen rendimiento en términos de precisión, relevancia y exhaustividad.
• La formación continua y la evaluación rigurosa son necesarias para mejorar la precisión y la fiabilidad de la información de PAC generada por el LLM.
• La investigación adicional debe centrarse en la optimización de las respuestas de LLM para garantizar la entrega de información consistente y confiable en contextos sensibles de atención médica.