Grandes modelos de lenguaje para la extracción de fenotipos psiquiátricos de registros electrónicos de salud

Área de la Ciencia:

• La psiquiatría
• Lingüística computacional
• La bioinformática

Sus antecedentes:

• El fenotipo clínico preciso de los registros electrónicos de salud (EHR, por sus siglas en inglés) es crucial para la investigación psiquiátrica.
• La extracción de información a nivel de síntomas de las notas clínicas de texto libre es un desafío, pero esencial.

Objetivo del estudio:

• Evaluar el rendimiento de 11 modelos de lenguaje generativo de código abierto (LLM) para la detección de 109 fenotipos psiquiátricos a partir de textos clínicos en español.
• Comparar el rendimiento del LLM con los métodos tradicionales de procesamiento del lenguaje natural (tNLP).
• Desarrollar y validar un LLM afinado para el fenotipo psiquiátrico.

Principales métodos:

• Probó 11 LLM generativos en notas anotadas de su EHR de una clínica psiquiátrica colombiana.
• Los LLM evaluados en configuraciones de disparo cero, de pocos disparos y de ajuste fino.
• Comparó el rendimiento de LLM con un método tNLP y validó modelos ajustados en datos externos.

Principales resultados:

• El rendimiento de LLM de base fue de bajo a moderado; el ajuste fino mejoró significativamente el rendimiento (macro-F1 de 0.2-0.74 a 0.75-0.86).
• Varios LLM ajustados superaron el método tNLP, con 100 fenotipos detectados de manera confiable (F1> 0,8).
• Un conjunto de datos sintéticos permitió la creación de "Mistral-pequeño-psych" (macro-F1=0,79), que se generalizó bien a los datos externos.

Conclusiones:

• El ajuste fino específico del dominio mejora las capacidades de LLM para el fenotipo psiquiátrico.
• Mistral-small-psych ofrece una herramienta valiosa para el fenotipo psiquiátrico preciso y a gran escala en español.
• Este trabajo apoya el avance de la psiquiatría de precisión global a través de una mejor utilización de datos de EHR.