高质量的实时3D全息显示器,用于现实世界的场景,基于优化的分层角度光谱方法

科学领域:

• 光学和光子学 在光学和光子学.
• 计算机视觉 计算机视觉
• 人工智能的人工智能

背景情况:

• 全息显示器提供真正的3D可视化,具有深度线索和运动抛物线.
• 从实时场景生成实时全息图,由于深度信息获取中的速度-准确性权衡受到阻碍.
• 深度学习已经显示出处理强度和深度图像的前景,但在实时全息图合成方面面临挑战.

研究的目的:

• 提出一种新的实时3D彩色全息图计算模型,利用深度学习.
• 为了实现稳定的聚焦,从单眼图像捕获到全息显示.
• 为了实现从单个图像进行直接全息预测,用于实际的3D显示应用.

主要方法:

• 集成单眼深度估计和变压器架构用于深度标记提取.
• 从单个图像中直接预测全息图,使用拟议的深度学习模型.
• 优化基于层的角光谱方法,以提高全息图质量和模型监督.

主要成果:

• 实时单眼相机图像的稳定映射到1024×2048分辨率和25FPS的3D彩色全息图.
• 在数值模拟中达到0.951的结构相似度指数 (SSIM).
• 在光学实验中,在各种现实场景中展示了没有文物和现实的全息3D显示.

结论:

• 端到端的深度学习方法可以从单眼图像进行实时3D彩色全息图计算.
• 该模型的高图像质量,计算速度和简单的架构支持实际的全息应用.
• 这项工作为现实世界场景中的实时全息视频奠定了基础.