¿Es posible vacunar a la IA contra el sesgo? Un estudio exploratorio en epilepsia

Área de la Ciencia:

• Inteligencia Artificial en Medicina
• Sistemas de Soporte de Decisiones Clínicas
• Equidad en Salud

Sus antecedentes:

• Los modelos de lenguaje grandes (LLM) se utilizan cada vez más para el apoyo a la toma de decisiones clínicas.
• Existen preocupaciones sobre su potencial para perpetuar sesgos socioeconómicos.
• La eficacia de las intervenciones simples basadas en indicaciones para mitigar estos sesgos no está bien establecida.

Objetivo del estudio:

• Evaluar si una 'inoculación' basada en indicaciones puede reducir el sesgo y mejorar la precisión en las recomendaciones de LLM.
• Evaluar el impacto de instruir a los LLM para que ignoren la información socioeconómica clínicamente irrelevante.

Principales métodos:

• Un estudio experimental que utiliza interfaces de LLM disponibles públicamente (memoria deshabilitada).
• Se utilizaron dos viñetas ficticias sobre epilepsia (diagnóstica y terapéutica) con descriptores socioeconómicos (SES) variados.
• Cada viñeta se presentó 10 veces por condición a 6 LLM de vanguardia, generando 480 respuestas.
• La precisión y el sesgo se evaluaron comparando las respuestas con las directrices basadas en la evidencia.

Principales resultados:

• La precisión diagnóstica base fue del 36% con una brecha de sesgo socioeconómico de 45 puntos porcentuales; la inoculación mejoró la precisión al 55% y redujo el sesgo a 27 puntos porcentuales.
• La precisión del tratamiento base fue del 51% con una brecha de sesgo socioeconómico de 25 puntos porcentuales; la inoculación mejoró la precisión al 63% y redujo el sesgo a 8 puntos porcentuales.
• Los efectos de la intervención variaron significativamente entre los LLM, y algunos mostraron eliminación del sesgo y otros un empeoramiento paradójico.

Conclusiones:

• Una intervención simple basada en indicaciones puede reducir el sesgo socioeconómico y mejorar la precisión en las recomendaciones clínicas de LLM.
• La ingeniería de indicaciones ofrece una estrategia práctica para mitigar el sesgo de la IA en la atención médica.
• Las variaciones en el rendimiento específicas del modelo exigen una supervisión continua y estrategias complementarias de mitigación del sesgo.