Aprendizaje dinámico de políticas de tratamiento binario bajo sesgo de selección de tratamiento: un enfoque...

Área de la Ciencia:

• La inteligencia artificial es inteligencia artificial.
• Aprendizaje automático Aprendizaje automático.
• Informática del cuidado de la salud Informática del cuidado de la salud.

Sus antecedentes:

• Aprender regímenes de tratamiento dinámicos (DTR) a partir de datos observacionales es un desafío debido al sesgo de selección de tratamiento.
• El aprendizaje de refuerzo fuera de línea (RL) ofrece un enfoque prometedor, pero requiere un manejo cuidadoso de los datos sesgados para garantizar la seguridad y la robustez.

Objetivo del estudio:

• Desarrollar un método robusto de aprendizaje de refuerzo fuera de línea (RL, por sus siglas en inglés) para aprender regímenes de tratamiento dinámicos seguros (DTR, por sus siglas en inglés) a partir de datos de atención médica observacional que muestran sesgo en la selección del tratamiento.
• Mejorar el Conservative Q-Learning (CQL) con un mecanismo de equilibrio de representación para mitigar el cambio de distribución y mejorar la seguridad de las políticas.

Principales métodos:

• CQL-RB propuesto, aumentando el Conservative Q-Learning (CQL) con una sanción de equilibrio de representación (MMD o distancia de energía) basada en una métrica de probabilidad integral (IPM).
• CQL-RB evaluado en dos simuladores realistas (EpiCare, AhnChemo) con políticas de comportamiento de tipo clínico para emular el sesgo de selección.
• Comparó CQL-RB con múltiples líneas de base, evaluando los resultados a través del rendimiento esperado y el recuento de eventos adversos utilizando la evaluación fuera de la política.

Principales resultados:

• CQL-RB superó constantemente las líneas de base tanto en los simuladores de EpiCare como en los de AhnChemo, logrando mayores rendimientos esperados y tasas de eventos adversos más bajas o comparables.
• Los estudios de ablación confirmaron la contribución del término de equilibrio de representación, mostrando un rendimiento degradado cuando se elimina.
• El método demostró robustez para pesos de penalización moderados, con degradación del rendimiento solo en valores excesivamente grandes.

Conclusiones:

• El equilibrio de representación mejora significativamente la RL conservadora fuera de línea para el aprendizaje de DTR en presencia de sesgo de selección de tratamiento.
• CQL-RB aprende con éxito DTRs efectivos y más seguros al alinear las representaciones de los pacientes mientras preserva las propiedades de seguridad de CQL.
• Abordar el sesgo de selección de tratamiento es crucial para desarrollar políticas de tratamiento dinámicas robustas y seguras en el cuidado de la salud.