ディープニューラルネットワークによるリアルタイムの3Dホログラフィーへ

科学分野:

• 光学とフォトニクス
• コンピュータ・ビジョン
• 人工知能

背景:

• コンピュータ生成ホログラフィー (CGH) は,没入型の3Dディスプレイに不可欠ですが,計算が激しいシミュレーションのため,焦点制御,オクラージュ,およびリアルタイムのパフォーマンスに制限があります.
• 既存の物理的なCGH方法では,ピクセル毎の焦点制御と正確なオクラージュが困難であり,フレネルの difraktion シミュレーションでは,画像品質と実行時間の間でトレードオフが生じ,ダイナミックなアプリケーションを妨げます.

研究 の 目的:

• ディープラーニングベースのCGHパイプラインを開発し,単一のRGB深さの画像からリアルタイムの3Dホログラムの合成を行う.
• ダイナミックホログラフィックディスプレイの計算コスト,焦点制御,オクラージュという点で伝統的なCGHの限界を克服する.

主な方法:

• 4,000個のRGB深さの画像とホログラムのペアを含む大規模なCGHデータセット (MIT-CGH-4K) で,記憶効率の良いコンボリューションニューラルネットワーク (CNN) が開発され,訓練されました.
• CNNは,微分波ベースの損失関数を使用して,フレネルの difraktion を近似し,アンチアライアシングのフェーズのみのエンコーディング方法を組み込んだ.
• パイプラインは,消費者GPUのリアルタイムパフォーマンスに最適化され,モバイルおよびエッジAIデバイスのインタラクティブフレームレートを実証しました.

主要な成果:

• ディープラーニングのパイプラインはリアルタイムで3Dホログラムを合成します (GPUで1920×1080の解像度で60Hz).
• CNNモデルはメモリ効率が高く (<620 KB),モバイル (1.1 Hz) およびエッジ (2.0 Hz) デバイスでインタラクティブなフレームレートを達成します.
• 実験的に示された斑点のない,自然に見える,高解像度の3Dホログラムは,開発された方法を用いた.

結論:

• 学習ベースのCGHアプローチは,リアルタイム3D表示機能を大幅に向上させ,ダイナミックホログラフィーを実用化します.
• 開発されたパイプラインとデータセットは,次世代の仮想現実と拡張現実システム,モバイルホログラムアプリケーション,先進的な光学技術への道を開きます.
• この研究は,メタ表面設計,顕微鏡操作,全息顕微鏡,3Dプリントなどの分野でより広範なアプリケーションを可能にします.