Mejorar el aprendizaje multimodal a través de la búsqueda de arquitectura de fusión jerárquica con mitigación de...

Área de la Ciencia:

• Inteligencia artificial
• Aprendizaje automático
• Visión por computadora

Sus antecedentes:

• El aprendizaje multimodal requiere estrategias efectivas de fusión de características, que a menudo exigen recursos computacionales y experiencia significativos.
• Los métodos existentes carecen de mecanismos para abordar las inconsistencias entre las modalidades y las etiquetas durante el diseño de la arquitectura de fusión.

Objetivo del estudio:

• Desarrollar un método eficiente de búsqueda de arquitectura neuronal multimodal de fusión jerárquica (HF-MNAS).
• Para mitigar las inconsistencias en la etiqueta de modalidad en la fusión de características multimodales.
• Para reducir el costo computacional asociado con el diseño de arquitecturas de fusión.

Principales métodos:

• Se introdujo un espacio de búsqueda de dos niveles: macro-nivel para la extracción y conexión de características, y micro-nivel para la optimización de células.
• Desarrolló un módulo de mitigación de inconsistencias para minimizar las discrepancias entre las modalidades y las etiquetas.
• Implementó un mecanismo de selección de nodos basado en la importancia para la formación óptima de células.

Principales resultados:

• HF-MNAS logró un equilibrio competitivo entre la precisión, el tiempo de búsqueda y la velocidad de inferencia en tareas de clasificación multimodal.
• Demostró costos computacionales significativamente más bajos en comparación con los métodos de última generación.
• Se ha comprobado que la incoherencia en la etiqueta de modalidad tiene un impacto negativo en el rendimiento del modelo y que el módulo propuesto lo mitiga efectivamente.

Conclusiones:

• HF-MNAS ofrece un enfoque eficiente y eficaz para la búsqueda de arquitectura de fusión de características multimodal.
• Abordar la incoherencia en la etiqueta de modalidad es crucial para mejorar el rendimiento del aprendizaje multimodal.
• El método propuesto ofrece una solución práctica para aplicaciones de aprendizaje multimodal con recursos limitados.