Evaluación de las respuestas de IA a las preguntas postoperatorias en la reconstrucción de Mohs

Área de la Ciencia:

• Dermatología
• Inteligencia artificial
• La informática médica

Sus antecedentes:

• La educación del paciente postoperatorio es crucial después de la reconstrucción facial de Mohs.
• Los grandes modelos de lenguaje (LLM) ofrecen un potencial para mejorar la comunicación del paciente.
• La variabilidad en la información médica generada por la IA requiere una evaluación cuidadosa.

Objetivo del estudio:

• Evaluar la calidad, exactitud, exhaustividad y legibilidad de las respuestas de cuatro LLM líderes a preguntas postoperatorias comunes después de la reconstrucción facial de Mohs.
• Para comparar el rendimiento de Claude AI, ChatGPT, Microsoft Copilot y Google Gemini en este contexto.

Principales métodos:

• Se realizó un estudio prospectivo de observación conforme a las directrices STROBE.
• Se plantearon 31 preguntas posoperatorias comunes a cuatro LLM (Claude AI, ChatGPT, Microsoft Copilot, Google Gemini) utilizando un mensaje estandarizado.
• Las respuestas fueron evaluadas a ciegas por cirujanos plásticos faciales utilizando herramientas validadas (EQIP, escalas Likert, fórmulas de legibilidad).

Principales resultados:

• Claude AI demostró un rendimiento superior en calidad (EQIP: 90,3), precisión (4,55 / 5) y exhaustividad (4,60 / 5).
• Todos los LLM evaluados generaron respuestas que excedieron el nivel de lectura del sexto grado.
• Se observó una variación significativa en la calidad y profundidad de la información proporcionada por los diferentes LLM.

Conclusiones:

• Los LLM son prometedores en el apoyo a la comunicación postoperatoria para los pacientes que se someten a la reconstrucción facial de Mohs.
• La variabilidad observada en la calidad de la respuesta de la IA subraya la necesidad crítica de revisión y supervisión por parte del médico.
• Se necesita más investigación para optimizar el uso de LLM en la educación del paciente y al mismo tiempo garantizar la precisión médica.