Modelos basados en transformadores para la detección de RDD: validación cruzada de fármacos y evaluación comparativa...

Área de la Ciencia:

• Farmacovigilancia y lingüística computacional.
• Aplicación de aprendizaje automático en la monitorización de la seguridad de los medicamentos.

Sus antecedentes:

• Las reacciones adversas a medicamentos (RAM) son preocupaciones críticas de seguridad.
• Las redes sociales ofrecen datos valiosos de pacientes en tiempo real, pero requieren un procesamiento avanzado.
• El procesamiento del lenguaje natural (PLN) y el aprendizaje por transferencia son clave para analizar texto no estructurado.

Objetivo del estudio:

• Evaluar modelos de transformadores ajustados para la clasificación de RAM en tuits sobre agonistas del receptor GLP-1.
• Comparar estos modelos con modelos de lenguaje grandes (LLM) de última generación.

Principales métodos:

• Ajuste fino de los modelos BERT-base, BERTweet-base y GPT-2 utilizando conjuntos de datos de RAM.
• Prueba de modelos en 396 tuits que mencionan agonistas del receptor GLP-1.
• Evaluación del rendimiento utilizando puntuaciones F1 y comparación con ChatGPT 4o, ChatGPT 4o-mini y Gemini 2.5 Flash.

Principales resultados:

• BERTweet-base logró la puntuación F1 más alta (0.729) entre los modelos de transformadores ajustados.
• Los LLM demostraron un rendimiento superior, con ChatGPT 4o-mini logrando una puntuación F1 de 0.948.
• Los LLM superaron sustancialmente a los modelos de transformadores ajustados en la clasificación de RAM.

Conclusiones:

• Los modelos de transformadores ajustados muestran potencial para la detección de RAM en redes sociales.
• Los LLM de última generación, especialmente ChatGPT 4o-mini, ofrecen capacidades significativamente mejoradas para la farmacovigilancia.
• Los LLM representan un avance poderoso para la vigilancia de la seguridad de los medicamentos en tiempo real.