Extracción de la información de las directrices clínicas utilizando dos grandes modelos de lenguaje: estudio de evaluación | JoVE Visualize

Área de la Ciencia:

Farmacogenómica (PGx)
Inteligencia artificial (IA)
Sistemas de apoyo a la toma de decisiones clínicas (CDSS)

Sus antecedentes:

La farmacogenómica personalizada efectiva (PGx) requiere la integración de las directrices clínicas en los sistemas de apoyo a la toma de decisiones.
Los grandes modelos de lenguaje (LLM) ofrecen potencial para automatizar la extracción y actualización de la información PGx.
La revisión manual de las directrices PGx requiere mucho tiempo y recursos.

Objetivo del estudio:

Evaluar la eficacia de las comparaciones cruzadas repetidas y una estrategia de umbral de acuerdo utilizando dos LLM avanzados para actualizar las directrices clínicas de PGx.
Evaluar el rendimiento de GPT-4o y Gemini-1.5-Pro en la extracción y clasificación de las directrices PGx.
Determinar el potencial de los LLM para agilizar la integración de las directrices de PGx en la práctica clínica.

Principales métodos:

Dos LLMs (GPT-4o, Gemini-1.5-Pro) clasificaron 385 pautas clínicas PGx, con cada una probada 20 veces por modelo.
Las estrategias incluían comparaciones cruzadas repetidas y un umbral de coherencia (previsiones < 60% de acuerdo) para señalar inconsistencias.
Los resultados del LLM se compararon con los datos anotados por expertos para la evaluación de la exactitud.

Principales resultados:

Se lograron altas tasas de reproducibilidad por ambos LLM (GPT-4o: 97.8%, Gemini-1.5-Pro: 98.9%).
Los LLM demostraron una alta precisión (GPT-4o: 93.5%, Gemini-1.5-Pro: 92.7%) en comparación con las etiquetas expertas.
Las predicciones consistentes redujeron las necesidades de revisión manual en un 88,6%, con tasas de error mínimas (0,3-0,5%) y un costo muy bajo (US $ 0,76).

Conclusiones:

El uso de dos LLM ofrece un método rentable y escalable para actualizar las directrices de PGx para el apoyo a la decisión clínica.
La clasificación automatizada por LLM reduce significativamente la carga de la revisión manual, mejorando la aplicabilidad clínica.
La revisión manual selectiva sigue siendo crucial para garantizar la precisión, pero este enfoque basado en LLM optimiza la integración de las directrices de PGx.