生物声学基本频率估计:跨物种数据集和深度学习基线
Paul Best1, Marcelo Araya-Salas2, Axel G Ekström3,4
1Université de Toulon, Aix Marseille Univ. CNRS, LIS, Toulon, France.
概括
在动物发声中自动化基本频率 (F0) 估计具有挑战性. 这项研究介绍了大型基准数据集,并展示了神经网络
科学领域:
- 生物声学和计算生物学.
- 动物的交流和生物声学.
背景情况:
- 基本频率 (F0) 对于分析动物发声至关重要,但手工估计是繁的,自动化是复杂的.
- 现有的自动F0估计方法从语音和音乐在生物声学方面取得了有限的进展.
研究的目的:
- 解决生物声学自动化F0估计的局限性.
- 创建一个基准数据集和评估深度学习算法,用于多种脊椎动物的声调.
主要方法:
- 编制了来自14种类型的超过25万个发声的基准数据集,涵盖了广泛的声学特性 (从超声波到波,非线性现象).
- 测试了各种算法,包括神经网络,用于对基准数据集的F0估计.
- 开发了光谱测量来评估F0质量,并将其与算法性能相关联.
主要成果:
- 神经网络显示了F0估计的潜力,即使对于未见的类型或未标记的训练数据.
- 拟议的F0质量的光谱测量与估计性能相对应.
- 目前的算法性能在所有类型中并不令人满意,但深度学习有希望.
结论:
- 深度学习方法提供了一种更通用和可靠的生物声学F0估计工具.
- 基准数据集和F0质量指标将有助于生物声学界分析声音.
- 需要进一步开发深度学习模型,以对各种动物声音进行全面的F0轮分析.
更多相关视频
08:22Author Spotlight: Advancing the Study of Brain-Heart Interplay with a Comprehensive EEGLAB Plugin for Multimodal Signal Analysis
Published on: April 26, 2024
2.1K
09:09Foreign Accent and Forensic Speaker Identification in Voice Lineups: The Influence of Acoustic Features Based on Prosody
Published on: September 27, 2024
522
