Generalización de modelos de aprendizaje automático a partir de texto libre clínico

Área de la Ciencia:

• Inteligencia artificial en el cuidado de la salud
• La informática médica
• Generalizabilidad del aprendizaje automático

Sus antecedentes:

• Los modelos de inteligencia artificial (IA) en el cuidado de la salud a menudo luchan con la generalización en diferentes instituciones.
• Desarrollar una IA que funcione de manera confiable en diversos entornos clínicos es crucial para su adopción generalizada.
• Las estrategias para mejorar la robustez de los modelos de IA entrenados en datos médicos requieren una investigación exhaustiva.

Objetivo del estudio:

• Evaluar métodos para mejorar la generalización de los modelos de IA en el cuidado de la salud.
• Evaluar el impacto de las técnicas de preprocesamiento de texto en el rendimiento del modelo.
• Comparar los modelos de datos de una sola institución con los de varias instituciones y explorar las métricas de divergencia de los datos.

Principales métodos:

• Se desarrollaron modelos de redes neuronales profundas para clasificar los códigos de la terminología de procedimientos actuales de anestesiología a partir de texto médico libre.
• Se analizaron tres niveles de preprocesamiento de texto: mínimo, automatizado (cSpell) y revisado por el médico.
• Se emplearon la divergencia de Kullback-Leibler y el agrupamiento k-medoide para evaluar el rendimiento del modelo y la divergencia de los datos.

Principales resultados:

• Los modelos de una sola institución lograron una alta precisión interna pero una escasa generalización externa.
• El preprocesamiento de texto demostró un impacto mínimo en el rendimiento del modelo.
• Los modelos multiinstitucionales mejoraron la generalización externa, pero tuvieron una menor precisión interna en comparación con los modelos de una sola institución.
• La Divergencia de Kullback-Leibler mostró una fuerte correlación con el rendimiento del modelo (R2=0,41), superando a otras métricas.

Conclusiones:

• El preprocesamiento de texto libre médico tiene una utilidad limitada para mejorar la generalización del modelo de IA.
• Mientras que los modelos de una sola institución sobresalen internamente, los modelos multiinstitucionales ofrecen una mejor generalización.
• La Divergencia de Kullback-Leibler sirve como una valiosa heurística para evaluar la generalización del modelo de IA en el cuidado de la salud.