DSNeRF: 連続スパイクストリームからの超高速シーンの動的ビュー合成

科学分野:

• コンピュータビジョン
• ロボット工学
• 神経科学にインスパイアされたコンピューティング

背景:

• スパイクカメラは高速な視覚認識を提供しますが、そのユニークなデータ形式により3Dシーン再構築には課題があります。
• 既存の方法は、スパイクストリームデータを処理する際に、動的な環境や理想的でない照明条件の処理に苦労しています。
• ニューラル放射場（NeRF）は新しいビュー合成に優れていますが、密な従来の画像データを必要とします。

研究 の 目的:

• NeRFベースのアプローチを使用したスパイクカメラデータからの体積3Dシーン表現を生成する最初の方法であるDSNeRFを導入すること。
• スパイクカメラストリームに固有のノイズ、動的なシーン、および変化する照明条件の課題に対処すること。
• 高時間分解能のスパイクデータから堅牢な3Dシーン再構築とフォトリアリスティックな新しいビュー合成を可能にすること。

主な方法:

• スパイクドメインへのピクセルレイの新しいマッピングを開発し、スパイク生成をNeRFトレーニングに統合しました。
• カメラノイズ（ランダムおよび固定パターンノイズ）をモデル化するために、インテグレートアンドファイヤーニューロン層を導入し、忠実度を向上させました。
• モーションガイド付きスパイクニューロン層と長期レンダリングフォトメトリック損失を組み込み、動的なスパイクストリームアラインメントと正確なジオメトリを実現しました。

主要な成果:

• DSNeRFは、NeRFのマルチビュー整合性を堅牢な自己教師あり学習に効果的に活用し、ノイズを効果的にフィルタリングして一貫した構造を明らかにします。
• この手法は、連続スパイクストリームからのフォトリアリスティックな新しいビューレンダリングを実現し、特定のシナリオでは他のセンサーを上回ります。
• 実際およびシミュレートされたデータでの経験的評価により、多様で困難な条件下でのDSNeRFの効果が検証されます。

結論:

• DSNeRFは、ニューロモルフィックスパイクカメラデータからの3Dシーン再構築における重要な進歩を表します。
• 提案されたアプローチは、スパイクカメラの特性をニューラルレンダリングフレームワークに直接統合する可能性を示しています。
• この研究は、ロボット工学および自律システムにおける高速、低電力の3D認識のための新しい道を開きます。