立体声说话器:以音频驱动的3D人体合成与先前引导的专家混合

科学领域:

• 计算机视觉和图形学
• 人工智能的人工智能
• 人与计算机的交互

背景情况:

• 当前的音频驱动的人类视频合成方法经常在精确的唇部同步,表达性的身体手势和一致的视觉质量方面扎.
• 在计算机图形和人工智能方面,生成光现实和时间连贯的3D交谈视频仍然是一个重大挑战.

研究的目的:

• 介绍Stereo-Talker,这是一款创新的一拍制音频驱动系统,用于生成高保真度3D说话视频.
• 为了在合成视频中实现精确的唇部同步,表达性的身体手势和连续的视角控制.
• 通过先进的人工智能技术增强运动多样性和视频生成稳定性.

主要方法:

• 一个两阶段的方法:首先,使用大语言模型 (LLM) 的先验和语义音频特征将音频映射到高保真度的运动序列中.
• 其次,通过预先引导的专家混合 (MoE) 机制 (视图引导和面具引导) 改进基于扩散的视频生成.
• 开发一个面具预测模块,以提高在推断过程中的面具稳定性和准确性.

主要成果:

• 成功生成了精确的唇部同步和富有表现力的3D对话视频,以及具有时间一致性的身体手势.
• 通过LLM集成和MoE机制,证明了增强的运动质量和生成稳定性.
• 创建一个全面的人类视频数据集,包含2203个身份,以改善模型通用化.

结论:

• 立体声说话器代表了音频驱动的3D人类视频合成的重大进步.
• 该系统有效地结合了LLM先验和MoE传播模型,以实现高质量,可控的视频生成.
• 发布的数据集和模型将促进对现实的人类视频合成的进一步研究.