SonoNERFs:神经辐射场应用于生物回声定位系统,通过感知预测允许通过3D场景重建
Wouter Jansen1,2, Jan Steckel1,2
1Cosys-Lab, Faculty of Applied Engineering, University of Antwerp, 2020 Antwerpen, Belgium.
Biomimetics (Basel, Switzerland)
|June 26, 2024
概括
这项研究介绍了SonoNERF,一种使用神经辐射场 (NeRF) 建模蝙蝠回声定位的新方法. 它从声音中重建了3D场景,进步了我们对动物声学感知的理解.
科学领域:
- 生物声学是一种生物声学.
- 计算神经科学是一种神经科学.
- 计算机视觉 计算机视觉
背景情况:
- 蝙蝠使用回声定位来导航和狩猎,解释复杂的声学信号.
- 光学神经辐射场 (NeRFs) 擅长从图像中重建3D场景.
- 解释回声定位数据,特别是没有相位信息,存在重大挑战.
研究的目的:
- 适应神经辐射场 (NeRFs) 用于模拟蝙蝠回声定位.
- 开发一个计算框架,以了解回声定位动物中的声场景表示.
- 从模拟的蝙蝠回声定位数据重建3D环境.
主要方法:
- 介绍了SonoNERF,一种用于声环境的神经反射场模型.
- 从光学NeRF和生物回声定位中利用原则.
- 模拟回声定位数据用于在各种场景上训练和测试SonoNERF模型.
主要成果:
- SonoNERF成功地从回声定位数据中重建了3D场景.
- 该模型预测了新型回声定位姿势的回声谱图.
- 生成基于网格和基于能量的场景表示,在复杂的场景中证明有效性,包括捕食者与猎物的相互作用.
结论:
- SonoNERF提供了一个新的框架,用于模拟蝙蝠对声场景的理解.
- 这项工作弥合了计算视觉和生物声学之间的差距.
- 该模型提供了对回声定位动物如何实现场景感知的一级近似.
更多相关视频
11:14A Novel Experimental and Analytical Approach to the Multimodal Neural Decoding of Intent During Social Interaction in Freely-behaving Human Infants
Published on: October 4, 2015
10.9K
12:49A Method for 3D Reconstruction and Virtual Reality Analysis of Glial and Neuronal Cells
Published on: September 28, 2019
12.8K
