SynthEHR-eviction: mejora de la detección de SDoH de desalojo con datos sintéticos de HCE aumentados con LLM

Área de la Ciencia:

• Informática de la Salud
• Procesamiento del Lenguaje Natural
• Determinantes Sociales de la Salud

Sus antecedentes:

• El desalojo es un determinante social de la salud (SDoH) crítico relacionado con la inestabilidad de la vivienda, el desempleo y los problemas de salud mental.
• La información sobre el desalojo a menudo no está estructurada en los registros de salud electrónicos (HCE), lo que dificulta su uso en la investigación y la práctica clínica.
• Los métodos existentes para extraer SDoH de las notas clínicas son limitados, especialmente para escenarios de bajos recursos.

Objetivo del estudio:

• Introducir SynthEHR-Eviction, una canalización escalable para extraer SDoH relacionados con el desalojo de notas clínicas.
• Crear un conjunto de datos público y de gran tamaño de SDoH relacionados con el desalojo con 14 categorías finamente detalladas.
• Evaluar el rendimiento de los LLM ajustados en este conjunto de datos y compararlos con los modelos existentes.

Principales métodos:

• Desarrollamos SynthEHR-Eviction, una canalización que integra anotaciones de "human-in-the-loop", optimización automatizada de indicaciones (APO) y ajuste fino aumentado por razonamiento.
• Creamos un conjunto de datos público de SDoH relacionados con el desalojo a partir de notas clínicas.
• Ajustamos LLM (Qwen2.5, LLaMA3) en el conjunto de datos SynthEHR-Eviction y evaluamos el rendimiento utilizando puntuaciones Macro-F1.
• Comparamos LLM ajustados con GPT-4o-APO, GPT-4o-mini-APO y BioBERT.

Principales resultados:

• Los LLM ajustados lograron un alto rendimiento: 88,8% Macro-F1 para desalojo y 90,3% para otros SDoH.
• SynthEHR-Eviction superó a GPT-4o-APO, GPT-4o-mini-APO y BioBERT en la extracción de SDoH.
• La canalización redujo el esfuerzo de anotación en más del 80% y aceleró la creación del conjunto de datos.
• Se logró una implementación rentable en varios tamaños de modelo.

Conclusiones:

• SynthEHR-Eviction permite la detección escalable y precisa de SDoH relacionados con el desalojo a partir de notas clínicas.
• El conjunto de datos desarrollado y los LLM ajustados avanzan la investigación y la aplicación de SDoH en la atención médica.
• La canalización demuestra generalización a otras tareas de extracción de información y reduce los requisitos de recursos.