Extracción de la información de las directrices clínicas utilizando dos grandes modelos de lenguaje: estudio de...

Área de la Ciencia:

• Farmacogenómica (PGx)
• Inteligencia artificial (IA)
• Sistemas de apoyo a la toma de decisiones clínicas (CDSS)

Sus antecedentes:

• La farmacogenómica personalizada efectiva (PGx) requiere la integración de las directrices clínicas en los sistemas de apoyo a la toma de decisiones.
• Los grandes modelos de lenguaje (LLM) ofrecen potencial para automatizar la extracción y actualización de la información PGx.
• La revisión manual de las directrices PGx requiere mucho tiempo y recursos.

Objetivo del estudio:

• Evaluar la eficacia de las comparaciones cruzadas repetidas y una estrategia de umbral de acuerdo utilizando dos LLM avanzados para actualizar las directrices clínicas de PGx.
• Evaluar el rendimiento de GPT-4o y Gemini-1.5-Pro en la extracción y clasificación de las directrices PGx.
• Determinar el potencial de los LLM para agilizar la integración de las directrices de PGx en la práctica clínica.

Principales métodos:

• Dos LLMs (GPT-4o, Gemini-1.5-Pro) clasificaron 385 pautas clínicas PGx, con cada una probada 20 veces por modelo.
• Las estrategias incluían comparaciones cruzadas repetidas y un umbral de coherencia (previsiones < 60% de acuerdo) para señalar inconsistencias.
• Los resultados del LLM se compararon con los datos anotados por expertos para la evaluación de la exactitud.

Principales resultados:

• Se lograron altas tasas de reproducibilidad por ambos LLM (GPT-4o: 97.8%, Gemini-1.5-Pro: 98.9%).
• Los LLM demostraron una alta precisión (GPT-4o: 93.5%, Gemini-1.5-Pro: 92.7%) en comparación con las etiquetas expertas.
• Las predicciones consistentes redujeron las necesidades de revisión manual en un 88,6%, con tasas de error mínimas (0,3-0,5%) y un costo muy bajo (US $ 0,76).

Conclusiones:

• El uso de dos LLM ofrece un método rentable y escalable para actualizar las directrices de PGx para el apoyo a la decisión clínica.
• La clasificación automatizada por LLM reduce significativamente la carga de la revisión manual, mejorando la aplicabilidad clínica.
• La revisión manual selectiva sigue siendo crucial para garantizar la precisión, pero este enfoque basado en LLM optimiza la integración de las directrices de PGx.