Uso de modelos de lenguaje grandes para auditar sesgos en modelos de atención médica

Área de la Ciencia:

• Inteligencia artificial; Procesamiento del lenguaje natural; Informática de la salud

Sus antecedentes:

• Los modelos de lenguaje grandes (LLM) muestran promesa en la atención médica pero exhiben sesgos demográficos.; La auditoría manual de sesgos no es práctica debido a grandes volúmenes de datos.; Los LLM pueden auditar potencialmente otros modelos en busca de sesgos, pero su efectividad varía.

Objetivo del estudio:

• Evaluar cómo el tamaño del LLM y las estrategias de indicación impactan la detección de sesgos.; Comparar el rendimiento de detección de sesgos de diferentes LLM utilizando un conjunto de datos de atención médica.; Identificar soluciones LLM rentables para la auditoría de sesgos en IA.

Principales métodos:

• Se utilizó el conjunto de datos de red teaming de Stanford Healthcare con indicaciones, resultados y etiquetas de sesgos.; Se probaron GPT-3.5-turbo, GPT-4o, llama3.3 y o1-mini para detectar capacidades de sesgos.; Se emplearon técnicas de indicación, incluido el hilo de pensamiento, para evaluar su influencia en la detección de sesgos.

Principales resultados:

• Modelos más pequeños como o1-mini lograron una mayor precisión y puntuaciones F1 que GPT-4o.; Las funciones de autocrítica en modelos más grandes no mejoraron significativamente la detección de sesgos.; La indicación de hilo de pensamiento mejoró sustancialmente la detección de sesgos en todos los modelos probados.

Conclusiones:

• Los LLM más pequeños pueden ser eficaces y eficientes en costos para la detección de sesgos, particularmente cuando la precisión es clave.; Las técnicas de indicación son cruciales para mejorar la auditoría de sesgos basada en LLM.; La elección del LLM para la detección de sesgos debe alinearse con las prioridades métricas específicas.