Las personas cambian los umbrales de acción clínica en los modelos de lenguaje grandes | JoVE Visualize

Área de la Ciencia:

Inteligencia artificial en medicina
Sistemas de apoyo a la decisión clínica
Procesamiento del lenguaje natural

Sus antecedentes:

El despliegue clínico de modelos de lenguaje grandes (LLM) está pasando de evaluar la viabilidad a abordar la responsabilidad.
La guía actual a menudo enmarca el comportamiento de los LLM como un problema de control.
El impacto de las indicaciones del sistema en el juicio clínico requiere una mayor investigación.

Objetivo del estudio:

Determinar si las indicaciones del sistema de estilo de decisión pueden alterar los umbrales de acción clínica en los LLM.
Evaluar la consistencia de estos cambios en diferentes entornos clínicos y arquitecturas de LLM.
Evaluar la influencia de las personas de los médicos en la toma de decisiones de los LLM.

Principales métodos:

Se definieron nueve personas de médicos basadas en orientaciones éticas y estilos cognitivos.
Se evaluaron 20 LLM de peso abierto utilizando 2500 viñetas simuladas de ED y 2500 resúmenes de alta de MIMIC-IV-Note.
Los modelos respondieron a cinco elementos de decisión binaria por texto bajo indicaciones de línea de base y de persona, generando más de 5 millones de decisiones.

Principales resultados:

Las indicaciones de persona cambiaron las tasas de decisión afirmativa de 36,9% a 46,4%, un cambio de 9,5 puntos porcentuales con evidencia clínica fija.
Los efectos de la indicación fueron más pronunciados para las decisiones de autonomía y tratamiento.
Los cambios inducidos por la indicación fueron consistentes en diferentes corpus de texto, pero la susceptibilidad varió según el LLM, sin un beneficio claro del ajuste médico o un mayor tamaño del modelo.

Conclusiones:

Las indicaciones del sistema de estilo de decisión alteran demostrablemente los umbrales de acción clínica en los LLM cuando se presentan hechos clínicos consistentes.
La indicación funciona como un mecanismo de establecimiento de políticas, no simplemente como una herramienta de comunicación.
Las indicaciones del sistema deben considerarse una configuración de implementación principal para los LLM clínicos.