Detección de lenguaje estigmatizante en notas clínicas con grandes modelos de lenguaje para el cuidado de la adicción

Área de la Ciencia:

• Procesamiento del lenguaje natural
• Informática clínica
• La ética médica

Sus antecedentes:

• El lenguaje estigmatizante en las notas clínicas puede influir negativamente en la atención al paciente y perpetuar el sesgo.
• Los pacientes con trastornos por consumo de sustancias (TUS) son particularmente vulnerables al estigma en los entornos sanitarios.
• Las notas de progreso de la unidad de cuidados intensivos (UCI) son una fuente potencial de lenguaje estigmatizante.

Objetivo del estudio:

• Evaluar el rendimiento de los grandes modelos lingüísticos (LLM) en la detección del lenguaje estigmatizante dentro de las notas de progreso de la UCI.
• Comparar diferentes enfoques de LLM, incluido el aprendizaje en contexto, la generación aumentada de recuperación (RAG) y el ajuste fino supervisado (SFT).
• Evaluar la capacidad de los LLM para proporcionar un razonamiento para su detección de estigma e identificar nuevos términos estigmatizantes.

Principales métodos:

• Se creó un conjunto de datos de 77,104 notas de UCI de MIMIC-III, equilibrado para encuentros estigmatizantes y no estigmatizantes.
• Se probaron cuatro enfoques de LLM (Zero-Shot, aprendizaje en contexto, RAG, SFT) y una línea de base de búsqueda de palabras clave.
• Los modelos se evaluaron en base a la precisión y la puntuación macro F1 utilizando divisiones de tren/desarrollo/prueba y un conjunto de validación externa.

Principales resultados:

• El ajuste fino supervisado (SFT) logró la mayor precisión (97,2%), seguido por el aprendizaje en contexto.
• Los LLM proporcionaron un razonamiento coherente para sus predicciones, ayudando en la revisión de falsos positivos.
• Tanto el SFT como el aprendizaje en contexto identificaron el lenguaje estigmatizante perdido durante la anotación manual.

Conclusiones:

• Los LLM, en particular el SFT y el aprendizaje en contexto, son muy efectivos para identificar el lenguaje estigmatizante en las notas de la UCI.
• Estos modelos ofrecen una alternativa eficiente a la revisión manual, reduciendo el tiempo y el esfuerzo.
• Los LLM pueden ayudar a mitigar el estigma en la documentación clínica, mejorando la atención de los pacientes con SUD.