Mejora del procesamiento de registros de salud electrónicos por modelos de lenguaje grandes mediante generación...

Área de la Ciencia:

• Procesamiento del Lenguaje Natural (PLN); Informática Clínica; Inteligencia Artificial (IA)

Sus antecedentes:

• Los modelos de lenguaje grandes (LLM) demuestran capacidades significativas en el procesamiento del lenguaje natural (PLN).
• Sin embargo, los LLM enfrentan desafíos en la extracción de información específica del dominio de registros de salud electrónicos (EHR) complejos.
• Los datos de suplementos dietéticos (DS) dentro de los EHR presentan complejidades de extracción únicas.

Objetivo del estudio:

• Evaluar la efectividad de la generación aumentada por recuperación (RAG) para mejorar los LLM en la extracción de información de suplementos dietéticos (DS) de los EHR.
• Comparar el impacto de diferentes estrategias de recuperación frente al tamaño del modelo y la especialización del dominio.

Principales métodos:

• Se probaron LLM, incluido Llama-3, con varios recuperadores en tareas de PLN como el reconocimiento de entidades y la clasificación de uso.
• Se compararon métodos de recuperación alineados con la tarea con recuperación general y enfoques centrados en el modelo.
• El rendimiento se evaluó según la precisión de la extracción y clasificación de información.

Principales resultados:

• Las estrategias de recuperación alineadas con la tarea superaron significativamente la dependencia del tamaño del LLM o la especialización del dominio.
• Los LLM más pequeños de propósito general combinados con recuperadores optimizados lograron un rendimiento comparable o superior a los modelos especializados.
• La recuperación estructurada mejoró el rendimiento en tareas complejas como la extracción de triples, mientras que la recuperación semántica mejoró la precisión de la clasificación.

Conclusiones:

• Las estrategias de recuperación son más críticas que el tamaño del modelo o la especialización para el análisis efectivo de EHR utilizando LLM.
• RAG ofrece un enfoque práctico y rentable para el PLN clínico, lo que permite la extracción eficiente de datos de EHR sin requerir recursos computacionales masivos.
• Esta investigación avanza las herramientas para la atención médica basada en evidencia al enfatizar la integración de conocimientos adaptables para aplicaciones médicas del mundo real.