Extracción de información sobre medicamentos mediante el uso de modelos locales de lenguaje grande

Área de la Ciencia:

• La informática médica
• Procesamiento del lenguaje natural
• Inteligencia artificial

Sus antecedentes:

• La extracción de información sobre medicamentos de un texto clínico no estructurado es vital, pero es un desafío debido al esfuerzo manual y los errores.
• Los métodos de automatización actuales se enfrentan a limitaciones como las demandas de experiencia, los límites de tiempo, la infraestructura de TI y las necesidades de transparencia.
• Los modelos generativos de lenguaje grande (LLM) y el ajuste fino eficiente de parámetros ofrecen soluciones prometedoras.

Objetivo del estudio:

• Evaluar los LLM locales para la extracción automática de información de medicación de extremo a extremo.
• Evaluar el rendimiento de los LLM afinados en conjuntos de datos clínicos tanto en inglés como en alemán.
• Mejorar la transparencia de las predicciones mediante técnicas de explicabilidad.

Principales métodos:

• Utilizó el reconocimiento de entidades con nombre y la extracción de relaciones con LLM locales.
• Se emplean instrucciones de restricción de formato y una línea de retroalimentación automatizada para la evaluación.
• Valores Shapley aplicados a nivel de token para visualizar y cuantificar las contribuciones de token.

Principales resultados:

• Los modelos Llama ajustados obtuvieron nuevos resultados de vanguardia en datos de inglés, mejorando las puntuaciones de F1 hasta en 10 pp. para los efectos adversos del medicamento y 6 pp. por razones de medicación.
• Llama estableció un nuevo punto de referencia en el conjunto de datos alemán, superando los métodos tradicionales hasta en 16 pp. el puntaje micro promedio F1.
• OpenBioLLM mostró limitaciones en las salidas estructuradas y alucinaciones experimentadas.

Conclusiones:

• Los LLM generativos locales de código abierto ajustados superan los métodos actuales de última generación para la extracción de información sobre medicamentos.
• Estos modelos proporcionan un alto rendimiento con recursos limitados en entornos clínicos, eficaces tanto en inglés como en alemán.
• Los valores de Shapley mejoran la transparencia de la predicción, ayudando a la toma de decisiones clínicas.