Perspectiva del paciente sobre las respuestas de modelos de lenguaje grandes a preguntas sobre Moyamoya

Área de la Ciencia:

• Informática médica
• Inteligencia artificial en la atención médica
• Enfermedades cerebrovasculares

Sus antecedentes:

• Los modelos de lenguaje grandes (LLM) se utilizan cada vez más para obtener información sobre la salud.
• La accesibilidad a la información sobre la enfermedad de Moyamoya es crucial para las comunidades no expertas.

Objetivo del estudio:

• Evaluar la utilidad, seguridad, efectividad y precisión de los LLM disponibles públicamente para la información sobre la enfermedad de Moyamoya.
• Comparar las respuestas de ChatGPT-4o y Gemini 1.5 Flash.

Principales métodos:

• Se solicitó directamente a ChatGPT-4o y Gemini 1.5 Flash con 10 preguntas comunes sobre la enfermedad de Moyamoya.
• Se recopiló la opinión de la comunidad a través de una encuesta en el sitio web de la Moyamoya Foundation.
• Los médicos evaluaron la seguridad y precisión de las respuestas de los LLM.

Principales resultados:

• Los encuestados de la comunidad encontraron que las respuestas de los LLM eran comparables o mejores que la información proporcionada por los médicos.
• Los LLM omitieron frecuentemente información de seguridad crucial sobre procedimientos, medicamentos y cuándo buscar atención médica.
• Los evaluadores médicos notaron que las respuestas de los LLM carecían de investigaciones recientes y no abordaban síntomas urgentes.

Conclusiones:

• Las respuestas de los LLM se perciben como de alta calidad, pero presentan limitaciones significativas en seguridad y completitud de datos.
• Las omisiones en la información de salud generada por LLM pueden afectar negativamente las relaciones paciente-médico y la seguridad del paciente.
• Se necesita una mayor refinación de los LLM para una difusión confiable de información sobre la salud.