在幼儿园教室的自然条件下,使用房间独立的ResNet模型和基于自动语音识别的重新细分的自动语音识别的儿童-成年语音日记

科学领域:

• 儿童发展研究儿童发展研究
• 计算语言学计算语言学
• 教育技术的教育技术.

背景情况:

• 语音和语言发展是儿童学习能力的关键指标.
• 幼儿园教室提供了丰富的环境,可以通过声乐互动监测孩子的语言成长.
• 当前的语音技术与自然主义课堂环境的复杂声学条件作斗争.

研究的目的:

• 调查基于深度学习的先进,轻量级的扬声器日记化解决方案,以对学前班级儿童与成人互动进行细分.
• 开发能够将音频段分类为来自成人或儿童的语音类型日记化模型.
• 增强用于教育评估的自然主义沟通的自动化分析.

主要方法:

• 利用轻量级,知识蒸,深度学习模型,特别是卷积神经网络 (CNN),用于语音日记.
• 专注于语音类型的日记化,以在课堂音频流中区分成年人和儿童扬声器.
• 集成的基于自动语音识别 (ASR) 的重新细分模块,用于儿童-成人日记.

主要成果:

• 最轻的CNN模型在两个教室的数据上获得了约76.0%的最佳F1得分.
• 成功执行了儿童-成年人日记,为单个细分段提供F1分数,带有扬声器标签.
• 演示了模型在不同课堂声学环境中的语音细分和分类方面的有效性.

结论:

• 基于深度学习的语音日记化为分析课堂沟通提供了可行的解决方案,支持教育评估.
• 开发的模型保持儿童和成人隐私,同时提取有价值的沟通指标.
• 儿童沟通指标的可视化为教育工作者提供可操作的反,以了解儿童的参与.