DSNeRF: Síntesis de Vistas Dinámicas para Escenas Ultrarrápidas a partir de Flujos Continuos de Picos

Área de la Ciencia:

• Visión por Computadora
• Robótica
• Computación Inspirada en la Neurociencia

Sus antecedentes:

• Las cámaras de picos ofrecen percepción visual de alta velocidad pero plantean desafíos para la reconstrucción 3D debido a su formato de datos único.
• Los métodos existentes tienen dificultades con entornos dinámicos y condiciones de iluminación no ideales al procesar datos de flujos de picos.
• Los Campos de Radiación Neuronal (NeRF) sobresalen en la síntesis de vistas novedosas, pero requieren datos de imágenes densos y convencionales.

Objetivo del estudio:

• Introducir DSNeRF, el primer método para generar representaciones volumétricas 3D de escenas a partir de datos de cámaras de picos utilizando un enfoque basado en NeRF.
• Abordar los desafíos de ruido, escenas dinámicas e iluminación variada inherentes a los flujos de cámaras de picos.
• Permitir la reconstrucción robusta de escenas 3D y la síntesis fotorrealista de vistas novedosas a partir de datos de picos de alta resolución temporal.

Principales métodos:

• Desarrolló un mapeo novedoso de rayos de píxeles al dominio de picos, integrando la generación de picos en el entrenamiento de NeRF.
• Introdujo una capa de neurona de integrar y disparar para modelar el ruido de la cámara (ruido de picos aleatorio y de patrón fijo) para una mayor fidelidad.
• Incorporó una capa de neurona de picos guiada por movimiento y una pérdida fotométrica de renderizado a largo plazo para la alineación dinámica de flujos de picos y una geometría precisa.

Principales resultados:

• DSNeRF aprovecha con éxito la consistencia multivista de NeRF para una auto-supervisión robusta, filtrando eficazmente el ruido y revelando estructuras coherentes.
• El método logra una renderización fotorrealista de vistas novedosas a partir de flujos continuos de picos, superando a otros sensores en escenarios específicos.
• Las evaluaciones empíricas en datos reales y simulados validan la efectividad de DSNeRF en condiciones diversas y desafiantes.

Conclusiones:

• DSNeRF representa un avance significativo en la reconstrucción 3D a partir de datos de cámaras de picos neuromórficos.
• El enfoque propuesto demuestra el potencial de integrar las características de las cámaras de picos directamente en los marcos de renderizado neuronal.
• Este trabajo abre nuevas vías para la percepción 3D de alta velocidad y bajo consumo en robótica y sistemas autónomos.