Automatización de la Adjudicación de Eventos Cardiovasculares Mediante Modelos de Lenguaje Grandes

Área de la Ciencia:

• Inteligencia Artificial
• Ensayos Clínicos
• Informática Médica

Sus antecedentes:

• La adjudicación de eventos cardiovasculares en ensayos clínicos es fundamental, pero tradicionalmente manual, lo que genera retrasos, inconsistencias y altos costos.
• La revisión manual de documentos clínicos para la adjudicación de eventos consume mucho tiempo y es propensa a errores humanos.

Objetivo del estudio:

• Desarrollar y evaluar un marco de dos etapas que utiliza modelos de lenguaje grandes (LLM) para automatizar la adjudicación de muertes cardiovasculares en ensayos clínicos.
• Mejorar la eficiencia, la consistencia y la transparencia de la adjudicación de eventos cardiovasculares.

Principales métodos:

• Un marco de dos etapas que emplea modelos de lenguaje grandes (LLM) para la adjudicación automatizada.
• Etapa 1: Un LLM de pocas muestras extrae evidencia estructurada (evento, negación, fecha, tramo) de documentos clínicos no estructurados.
• Etapa 2: Un adjudicador Tree-of-Thoughts utiliza las directrices del Comité de Expertos en Criterios de Valoración (CEC) para la clasificación y generación de justificaciones.

Principales resultados:

• El marco basado en LLM logró una alta precisión (0.96) y una puntuación F1 (0.82) en la extracción de evidencia estructurada de documentos clínicos.
• La etapa de adjudicación demostró una precisión de 0.68 utilizando GPT-4 Tree-of-Thoughts, superando a un enfoque de resumen más adjudicador de referencia.
• La puntuación CLEART (0.67) cuantificó la calidad del razonamiento, identificando el razonamiento temporal y la relevancia como áreas de mejora.

Conclusiones:

• La adjudicación automatizada de muertes cardiovasculares mediante LLM ofrece una solución prometedora para mejorar la eficiencia y reducir la variabilidad en los ensayos clínicos.
• El marco propuesto proporciona una justificación auditable, lo que aumenta la transparencia en el proceso de adjudicación.
• Se necesita una mayor refinación para optimizar el razonamiento temporal y la relevancia en los sistemas de adjudicación automatizada.