Desarrollo y evaluación de un chatbot de lenguaje grande y ligero para la investigación de medicamentos

Área de la Ciencia:

• Inteligencia artificial
• La informática médica
• Procesamiento del lenguaje natural

Sus antecedentes:

• Los grandes modelos de lenguaje (LLM) muestran potencial para la salud digital, pero se enfrentan a desafíos computacionales y de seguridad de datos.
• El acceso limitado a Internet en ciertas regiones restringe el despliegue de modelos de IA a gran escala.
• Existe la necesidad de LLM eficientes y específicos para aplicaciones de atención médica.

Objetivo del estudio:

• Desarrollar y evaluar un chatbot LLM ligero y específico para el dominio médico llamado Med-Pal.
• Abordar las limitaciones computacionales y las preocupaciones de seguridad de los datos en las aplicaciones de salud digital.
• Crear un marco de evaluación sólido para el desempeño clínico de LLM.

Principales métodos:

• Ajuste fino de cinco LLM de código abierto y ligeros (≤ 7 mil millones de parámetros) en un conjunto de datos de investigación de medicamentos seleccionado (1.100 pares de preguntas y respuestas).
• Validación de las LLM en 231 consultas relacionadas con medicamentos.
• La introducción de SCORE, un nuevo criterio de evaluación para la adjudicación clínica por un equipo multidisciplinario de expertos.
• Seleccionar el LLM de mejor rendimiento como Med-Pal, implementando barreras de seguridad contra las solicitudes adversas.

Principales resultados:

• Med-Pal logró un 71,9% de respuestas de alta calidad en un conjunto de datos de prueba separado.
• Med-Pal demostró un rendimiento superior en comparación con Biomistral y Meerkat.
• El marco SCORE desarrollado permitió una evaluación clínica efectiva de las respuestas de LLM.

Conclusiones:

• La arquitectura ligera y la alineación clínica de Med-Pal lo hacen adecuado para diversos entornos de atención médica, incluidos aquellos con infraestructura digital limitada.
• El estudio pone de relieve la viabilidad de desarrollar LLM eficaces y especializados para aplicaciones médicas.
• La vigilancia y la evaluación de expertos son cruciales para el despliegue clínico seguro y confiable de LLM.