TalkingStyle:个性化语音驱动的3D面部动画与风格保存
IEEE transactions on visualization and computer graphics
|June 11, 2024
概括
TalkingStyle创建个性化的3D化身,模仿个人的说话风格,以实现现实的语音驱动面部动画. 这种新的方法增强了现实主义和唇部同步,优于现有的技术.
科学领域:
- 计算机图形 计算机图形
- 人工智能的人工智能
- 人与计算机的交互
背景情况:
- 为语音驱动的面部动画生成现实的3D化身具有挑战性.
- 目前的方法很难捕捉独特的个人说话风格,并实现真实的模仿.
研究的目的:
- 提出一种新的方法,TalkingStyle,用于生成个性化的说话化身.
- 在语音驱动的面部动画中保留个体独特的说话风格.
- 为了提高动画化身中的现实主义和唇部同步精度.
主要方法:
- 使用音频和动画样本创建个性化面部动画.
- 从运动模式中解脱风格代码,使用单独的编码器来编码风格,语音和运动.
- 采用风格调节的变压器解码器来加强对化身风格的控制.
主要成果:
- TalkingStyle生成的面部动画非常类似于一个人的特定的说话风格.
- 与最先进的方法相比,该方法实现了卓越的现实主义和唇部同步精度.
- 定性,定量评估和用户研究验证了TalkingStyle.的有效性.
结论:
- TalkingStyle在创建个性化,真实的说话化身方面取得了重大进展.
- 这种方法成功地保留了个人的说话风格,同时确保了准确的语音同步.
- 源代码的公开发布有助于进一步研究语音驱动面部动画.


