Calidad y eficiencia de la integración de resúmenes personalizados generados por modelos lingüísticos de gran tamaño...

Área de la Ciencia:

• Informática clínica
• Inteligencia artificial en el cuidado de la salud
• Documentación médica

Sus antecedentes:

• El agotamiento del médico se ve agravado por las tareas administrativas, incluida la síntesis de notas clínicas.
• Los registros electrónicos de salud (EHR) son cruciales, pero contribuyen a la carga de trabajo de la documentación.
• Los grandes modelos lingüísticos (LLM) son prometedores en la automatización de las tareas de generación de texto.

Objetivo del estudio:

• Comparar la calidad y la eficiencia en el tiempo de los resúmenes médicos generados por LLM con los resúmenes escritos por médicos dentro de un sistema de EHR.
• Evaluar el rendimiento del resumen de LLM en un entorno clínico no inglés.
• Evaluar la preferencia del médico y la confianza en los resúmenes médicos generados por LLM.

Principales métodos:

• Se realizó un estudio de validación transversal en un hospital académico terciario.
• Los médicos (n=42) escribieron resúmenes para 50 registros de pacientes; un LLM generó resúmenes para los mismos registros.
• Un panel ciego de médicos (n=10) evaluó los resúmenes en cuanto a su integridad, exactitud y concisión.

Principales resultados:

• Los resúmenes LLM demostraron una integridad y exactitud comparables a los resúmenes escritos por médicos.
• Los resúmenes de LLM fueron calificados como menos concisos (3,0 frente a 3,5, p=0,001).
• Las puntuaciones generales de la evaluación fueron similares (3,4 frente a 3,3, p=0,373), con el 57% prefiriendo los resúmenes de LLM; los LLM generaron resúmenes en 15,7 segundos frente a 7 minutos para los médicos.

Conclusiones:

• Los resúmenes médicos generados por LLM son una alternativa viable a los resúmenes escritos por médicos, que coinciden con las métricas clave de calidad.
• Los LLM ofrecen eficiencias de tiempo sustanciales, aliviando potencialmente la carga administrativa del médico.
• La integración de los LLM en los EHR podría mejorar el flujo de trabajo clínico sin comprometer la calidad del resumen.