Rendimiento de los modelos de lenguaje grandes bajo variabilidad de entrada en aplicaciones de atención médica:...

Área de la Ciencia:

• Inteligencia Artificial en la Atención Médica
• Procesamiento del Lenguaje Natural
• Informática Clínica

Sus antecedentes:

• Los modelos de lenguaje grandes (LLM) se utilizan cada vez más en la atención médica para el cuidado del paciente y la toma de decisiones.
• La confiabilidad de los LLM con datos clínicos imperfectos no se comprende bien.
• Las imperfecciones de los datos son comunes en la documentación clínica y la información generada por el paciente.

Objetivo del estudio:

• Investigar el impacto de las perturbaciones de entrada en el rendimiento de los LLM en aplicaciones de salud.
• Comparar los efectos de diferentes tipos y niveles de perturbación.
• Analizar los impactos diferenciales en los términos relacionados con la salud frente a los no relacionados con la salud.

Principales métodos:

• Evaluación sistemática de 3 LLM en 3 tareas relacionadas con la salud.
• Utilización de un conjunto de datos novedoso con variaciones similares a las humanas: redacciones, homófonos y errores tipográficos.
• Evaluación del rendimiento en varios niveles de perturbación.

Principales resultados:

• Los LLM demostraron una notable robustez a las variaciones comunes de entrada; el rendimiento fue estable o mejoró en más del 55% de los casos.
• Los niveles más bajos de perturbación a veces condujeron a un mayor rendimiento (14,07%).
• Las redacciones resultaron ser más perjudiciales para el rendimiento de los LLM que otras variaciones.

Conclusiones:

• Las aplicaciones de atención médica que utilizan LLM deben tener en cuenta la variabilidad de la entrada y la calidad de los datos.
• La robustez a las entradas imperfectas es crucial para la confiabilidad de los LLM en entornos clínicos.
• Los hallazgos ofrecen información para el desarrollo de herramientas de IA resilientes y la mejora del rendimiento de los LLM en la atención médica.