PreLora: Un enfoque de ajuste fino con descomposición de matriz de rango bajo y ajuste de prefijo para la...

Área de la Ciencia:

• La inteligencia artificial en la medicina.
• Procesamiento del lenguaje natural.
• La informática médica es la informática médica.

Sus antecedentes:

• Los modelos de lenguaje grande (LLM) son prometedores en el procesamiento de textos médicos.
• La adaptación de LLMs para tareas médicas específicas, como la clasificación de texto de emergencia pre-hospitalaria, sigue siendo un desafío.

Objetivo del estudio:

• Introducir y validar PreLora, un nuevo método de ajuste fino para la clasificación de texto de emergencia pre-hospitalaria.
• Para evaluar la efectividad de PreLora en comparación con la línea de base y otros enfoques de ajuste fino.

Principales métodos:

• La propuesta de PreLora, que combina la afinación del prefijo con la descomposición de rango bajo de la matriz.
• Incorpora instrucciones específicas para tareas a través de un codificador de perceptrón de múltiples capas (MLP).
• Integrar matrices descompuestas de rango entrenables en la arquitectura del transformador para la compresión de parámetros y la captura de correlación.

Principales resultados:

• Los modelos ajustados PreLora superaron a los modelos de referencia en un 45,4%-75,4%.
• PreLora logró el mejor rendimiento entre todos los métodos de ajuste fino evaluados en varios LLMs.
• Demostró un rendimiento robusto en la clasificación de textos de emergencia complejos, de alta similitud semántica, superando a otros métodos.

Conclusiones:

• PreLora es un método de ajuste fino eficaz para la clasificación de texto de emergencia pre-hospitalaria.
• PreLora muestra el potencial para una aplicación más amplia en la adaptación de LLMs a diversas tareas médicas.