通过高速面部追踪方法和镜头转移同轴设置进行感知对齐的动态面部投影映射

科学领域:

• 计算机视觉 计算机视觉
• 图形和染 图形和染
• 人与计算机的交互

背景情况:

• 动态面部投影映射 (DFPM) 通过将数字内容叠加到面部上来创造沉浸式视觉体验.
• 投射图像和面部特征之间的错位工件在DFPM应用中是一个持续的挑战.
• 现有的方法在实时准确性和强大的调整方面扎,限制了DFPM在娱乐和化品等行业的潜力.

研究的目的:

• 提出和评估用于减少动态面部投影映射绘制中错位的新方法.
• 开发一个高速的面部追踪系统,利用时间信息来提高准确性.
• 设计一个投影机-摄像机设置,以增强光学对齐并最大限度地减少投影错误.

主要方法:

• 开发了一个基于切割面积限制的,基于插入/推算的面部检测框架,用于与面部地标检测并行处理.
• 引入了混合面部地标检测方法,将快速的回归树集 (ERT) 与用于错误恢复的辅助检测相结合.
• 创建了一种用于高率视频注释的新型模拟技术,以训练里程碑检测模型.
• 设计了一个镜头转移的同轴投影机-摄像机设置,确保高光学对齐,在不同深度上最小的像素误差.

主要成果:

• 提出的面部追踪方法通过利用时间信息和辅助检测实现了快速检测 (0.107毫秒).
• 模拟的高率数据集能够有效地训练面部地标检测模型.
• 同轴投影机-摄像机设置保持了1米至2米之间的子像素对齐错误 (1.274像素).
• 集成的高速DFPM系统展示了几乎完美的对齐,增强视觉感知.

结论:

• 开发的高速DFPM系统通过先进的面部跟踪和光学设计有效地解决了错位挑战.
• 这些创新使面部投影绘制体验更具身临其境和视觉准确性.
• 这项研究推进了DFPM技术,用于娱乐,化和交互式媒体的更广泛应用.