Mejora de los grandes modelos de lenguaje para el reconocimiento de entidades denominadas de reacciones adversas a...

Área de la Ciencia:

• Farmacovigilancia de las sustancias
• Procesamiento del lenguaje natural
• La inteligencia artificial en la medicina

Sus antecedentes:

• El seguimiento de las reacciones adversas al fármaco es crucial para la seguridad del paciente y la eficacia del tratamiento.
• La identificación precisa de los nombres de los medicamentos, los componentes y las ERA a través del reconocimiento de entidades con nombre (NER) es vital para la seguridad de los medicamentos y la integración de la información.
• Los métodos NER existentes luchan con las ERA debido a la variabilidad de los datos y la similitud de los nombres de los medicamentos, que a menudo requieren una extensa anotación manual.

Objetivo del estudio:

• Proponer una plantilla rápida eficaz para el reconocimiento de entidades de RAL utilizando modelos de lenguaje de gran tamaño (LLM).
• Mejorar la precisión de la identificación de nombres de medicamentos, componentes y reacciones adversas en textos médicos complejos.
• Proporcionar un método sólido para extraer entidades relacionadas con las drogas y construir gráficos de conocimiento.

Principales métodos:

• Desarrolló una plantilla rápida para ADRs que incorpora descripciones de tareas, explicaciones de entidades, directrices, muestras de aprendizaje de pocos disparos y ejemplos de corrección de errores.
• Integró datos complejos de ADR de la web y creó un corpus utilizando el método de anotación Begin, Inside, Outside (BIO).
• Evaluó la efectividad de la plantilla rápida con GPT-3.5 y GPT-4, comparando los resultados con los modelos LLaMA y DeepSeek ajustados.

Principales resultados:

• La plantilla rápida propuesta mejoró significativamente la puntuación F1 de GPT-3.5 de 0.648 a 0.887.
• La puntuación F1 de GPT-4 aumentó de 0.757 a 0.921 con la nueva plantilla.
• El método demostró un rendimiento superior en comparación con los modelos LLaMA y DeepSeek ajustados.

Conclusiones:

• La nueva plantilla de aviso mejora sustancialmente la precisión del reconocimiento de la entidad de RAL en los MDL.
• Este enfoque ofrece una alternativa superior a los métodos NER existentes para el análisis de ADR.
• Los resultados proporcionan una base sólida para la futura extracción de relaciones entre entidades relacionadas con las drogas y la construcción de gráficos de conocimiento.