Generación de vídeo a partir de audio impulsada por IA para la creación de contenido dinámico mediante difusión...

Área de la Ciencia:

• Inteligencia Artificial Generativa (IA)
• Visión por Computadora
• Interacción Humano-Computadora

Sus antecedentes:

• Generar vídeo emocionalmente resonante a partir de voz es un desafío para la IA.
• Los modelos existentes malinterpretan las señales vocales, lo que lleva a imágenes desconectadas.
• Los patrones sutiles del habla a menudo ocultan el contexto emocional.

Objetivo del estudio:

• Presentar EchoVid, un modelo de síntesis de audio a vídeo.
• Priorizar la fidelidad contextual y la alineación emocional en el vídeo generado por IA.
• Abordar las limitaciones en la generación actual de voz a vídeo.

Principales métodos:

• Se utilizó PyAudio para la entrada de voz y Stable Diffusion v2.1 de Hugging Face.
• Se emplearon indicaciones conscientes de las emociones y transformadores de difusión mejorados con CNN.
• Se desarrolló una interfaz web (React.js, TypeScript, Node.js, MongoDB Atlas) para la interacción.

Principales resultados:

• EchoVid genera vídeos que reflejan el tono emocional y el contexto.
• Superó a MoCoGAN y a las variantes de Stable Video Diffusion.
• Introdujo nuevas métricas: Estabilidad Semántica Temporal (TSS) y Índice de Parpadeo Perceptual (PFI).

Conclusiones:

• EchoVid demuestra un rendimiento superior en la síntesis de audio a vídeo.
• Logra una mejor alineación emocional y contextual en comparación con los métodos existentes.
• Las nuevas métricas proporcionan una evaluación mejorada de la calidad de la generación de vídeo.