SpiNeRF:直接训练的尖端神经网络,用于高效的神经辐射场染
Xingting Yao1,2, Qinghao Hu1, Fei Zhou3
1The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences, Beijing, China.
Frontiers in neuroscience
|August 7, 2025
概括
斯皮恩RF集成了尖端神经网络与神经辐射场,用于节能3D场景合成. 这种新的方法可以显著降低能源消耗,同时保持高染质量,优于现有方法.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
- 神经形态计算是一种神经形态计算.
背景情况:
- 尖端神经网络 (SNN) 提供能源效率,但在3D场景合成中应用有限.
- 神经辐射场 (NeRFs) 产生高质量的3D场景,但耗费大量能量.
- 现有的神经形态方法在NeRF节能是有限的.
研究的目的:
- 引入SpiNeRF,一种结合SNN和NeRF的新方法,用于节能3D场景合成.
- 通过神经形态方法提高NeRF的兼容性和能源效率.
- 为了提高染质量并降低3D场景生成中的计算成本.
主要方法:
- 集成SNN序列处理与NeRF射线造.
- 使用混合体积表示与无效点掩盖.
- 开发时间补丁 (TP) 和时间凝结和补丁 (TCP) 以在硬件上进行高效的并行训练.
主要成果:
- 与传统的SNN编码方案相比,SpiNeRF实现了更高的染质量.
- 与完全精确的ANN基线相比,该方法可降低高达72.95%的能源消耗.
- 基于TCP的SpiNeRF在神经形态硬件模拟器上进一步提高了能源效率.
结论:
- 通过利用SNN和NeRFs,SpiNeRF为节能3D场景合成提供了一个可行的解决方案.
- 拟议的TP和TCP方法有效地解决了不规则的时间长度所带来的培训挑战.
- 这项工作为高质量的3D图形应用中神经形态计算开辟了新的途径.
