MedFactEval y MedAgentBrief: Un Marco y Flujo de Trabajo para Generar y Evaluar Resúmenes Clínicos Factuales

Área de la Ciencia:

• Inteligencia Artificial
• Informática Médica
• Procesamiento del Lenguaje Natural Clínico

Sus antecedentes:

• Evaluar la precisión factual en el texto clínico generado por modelos de lenguaje grandes (LLM) es crucial para su adopción.
• La revisión manual por expertos no es escalable para el aseguramiento de calidad continuo del contenido clínico generado por LLM.

Objetivo del estudio:

• Presentar MedFactEval, un marco escalable para la evaluación basada en hechos de texto clínico generado por LLM.
• Presentar MedAgentBrief, un flujo de trabajo para generar resúmenes de alta calidad y basados en hechos.
• Validar el marco MedFactEval frente a un estándar de oro establecido por el consenso de expertos humanos.

Principales métodos:

• MedFactEval utiliza hechos clave definidos por el clínico y un "jurado de LLM" (voto mayoritario de múltiples LLM) para la evaluación.
• MedAgentBrief es un flujo de trabajo de varios pasos e independiente del modelo para generar resúmenes de alta calidad.
• Se creó un estándar de oro utilizando el voto mayoritario de siete médicos sobre hechos clave de casos de pacientes hospitalizados.

Principales resultados:

• El jurado de LLM MedFactEval demostró una concordancia casi perfecta con el panel de expertos humanos (κ de Cohen = 81%).
• El rendimiento del jurado de LLM no fue estadísticamente inferior al de un solo experto humano (κ = 67%, P < 0.001).

Conclusiones:

• MedFactEval ofrece un marco sólido y escalable para evaluar la precisión factual en las salidas de LLM clínicos.
• MedAgentBrief proporciona un flujo de trabajo de generación de alto rendimiento para resúmenes clínicos factuales.
• El enfoque combinado facilita la implementación responsable de la IA generativa en entornos clínicos.