Transformer se une a las Redes Residuales Gated para Mejorar la Detección de Artefactos PPG en UCI Pediátrica...

Área de la Ciencia:

• Inteligencia Artificial
• Bioinformática Biomédica
• Aprendizaje Automático

Sus antecedentes:

• Los modelos Transformer tienen dificultades en entornos con escasez de datos, como las unidades de cuidados intensivos pediátricos (UCIP).
• El aprendizaje supervisado por sí solo es insuficiente para optimizar los Transformers en estos entornos.
• Las Redes Residuales Gated (GRN) ofrecen una solución potencial para mejorar el rendimiento de Transformer.

Objetivo del estudio:

• Evaluar varios métodos de aprendizaje para mejorar los modelos Transformer en entornos de UCIP con datos limitados.
• Analizar el impacto de diferentes funciones de activación dentro de la Unidad Lineal Gated (GLU) de los GRN.
• Comparar la integración de GRN dentro del mecanismo de atención frente a como capa intermedia.

Principales métodos:

• Análisis comparativo de aprendizaje supervisado, no supervisado y autosupervisado (SSL) para el entrenamiento de Transformer.
• Investigación de diferentes funciones de activación (p. ej., sigmoide) para la Unidad Lineal Gated (GLU) en GRN.
• Utilización de la Estimación Neuronal de Información Mutua (MINE) para evaluar la contribución de GRN al rendimiento del modelo.

Principales resultados:

• Los GRN-Transformers superan significativamente a los Transformers estándar, MLP, CNN y LSTM en datos de UCIP.
• El SSL seguido de ajuste fino mejora el rendimiento de Transformer pero no tanto como los GRN-Transformers.
• La activación sigmoide en GLU logró una alta precisión (0.98), precisión (0.91), recuperación (0.96) y puntuación F1 (0.94).
• La integración de GRN como capa de filtro intermedia es más efectiva que dentro del mecanismo de atención.
• El análisis MINE confirma que GRN mejora la información mutua entre las representaciones y la salida.

Conclusiones:

• Los GRN-Transformers, particularmente con GLU activado por sigmoide y como capa intermedia, ofrecen una solución robusta para entornos con restricciones de datos.
• Los hallazgos respaldan la adopción de modelos avanzados como los Transformers para tareas como la detección de artefactos PPG en UCIP.
• Las estrategias de aprendizaje autosupervisado son cruciales para mejorar el rendimiento del modelo cuando los datos etiquetados son escasos.