Más allá del ajuste fino: Aprovechamiento del aprendizaje en contexto consciente del dominio con modelos de lenguaje...

Área de la Ciencia:

• Procesamiento del Lenguaje Natural
• Informática Biomédica
• Aprendizaje Automático

Sus antecedentes:

• El reconocimiento de entidades nombradas (NER) clínicas es crucial para organizar el texto clínico no estructurado.
• Si bien los modelos de lenguaje grandes (LLM) ofrecen adaptación sin parámetros a través del aprendizaje en contexto (ICL), el ajuste fino basado en codificadores ha liderado tradicionalmente en rendimiento para NER clínicas.
• Este estudio compara sistemáticamente ICL y el ajuste fino en condiciones realistas para evaluar su efectividad.

Objetivo del estudio:

• Realizar una comparación sistemática de ICL y el ajuste fino basado en codificadores para NER clínicas.
• Evaluar el impacto de la optimización de la selección de demostraciones de ICL en el rendimiento.
• Determinar la viabilidad de ICL en entornos clínicos con recursos limitados.

Principales métodos:

• Se utilizaron 2113 notas clínicas anotadas de pacientes con neoplasias hematológicas y 400 notas MIMIC-IV.
• Se optimizaron las configuraciones de ICL, incluidas las instrucciones, los formatos de salida y las estrategias de selección de demostraciones utilizando LLaMA-3.3-70B.
• Se realizó el ajuste fino del codificador con RoBERTa-large como línea de base, evaluando todos los modelos en la clasificación a nivel de token en varios escenarios (dentro del dominio, entre dominios, entre instituciones).

Principales resultados:

• La selección optimizada de demostraciones mejoró significativamente el rendimiento de ICL, aumentando la F1 macro hasta en 9.4 puntos.
• En entornos moderados, ICL superó al ajuste fino de RoBERTa-large y se mantuvo competitivo con grupos de muestras más grandes.
• ICL demostró una eficiencia de datos superior y logró mejoras sustanciales en la transferencia entre instituciones sin actualizaciones de parámetros, aunque el ajuste fino lideró en el grupo más grande.

Conclusiones:

• La selección optimizada de demostraciones conscientes del dominio permite que el ICL basado en LLM de código abierto iguale o supere el ajuste fino del codificador para NER clínicas.
• La adaptabilidad y la capacidad de actualización de conocimiento de ICL a través de grupos de demostraciones, sin reentrenamiento, son ventajosas para entornos de atención médica dinámicos y con recursos limitados.
• Esto facilita la mejora continua en las tareas de PNL clínicas dentro del sector de la salud.