评估使用RAG和本地LLMs对教师实习生进行模拟教学音频
Ke Fang1,2, Ci Tang3, Jing Wang3
1Network and Information Center, Chengdu Normal University, Chengdu, 610000, China. fk@cdnu.edu.cn.
Scientific reports
|January 29, 2025
概括
本研究介绍了一种使用Retrieval-Augmented Generation (RAG) 和大型语言模型 (LLM) 来评估模拟教学的人工智能框架. 内部lm2模型在分析教学音频和提供教育反方面表现有前途,增强教师培训.
科学领域:
- 教育中的人工智能
- 自然语言处理自然语言处理.
- 教育技术的教育技术
背景情况:
- 模拟教学对于教师培训至关重要,但传统的评估是劳动密集型的,限制了实践.
- 目前用于评估模拟教学的方法往往是主观的,并且依赖于资源.
研究的目的:
- 开发和评估一个人工智能驱动的框架,用于模拟教学的自动音频分析.
- 评估开源中文大语言模型 (LLM) 在模拟教学场景中提供教育反的有效性.
主要方法:
- 使用开源工具 (如FastChat和Whisper) 实现一个检索增强生成 (RAG) 框架.
- 集成本地大型语言模型 (LLM) 来分析模拟的教学音频.
- 对三个7B参数开源的中国LLM对其在语音评估任务中的表现进行比较分析.
主要成果:
- 内部lm2模型在分析教师学生教学音频和提供有针对性的教育反方面表现出卓越的表现.
- 通过对10名参与者的模拟教学课程与专家手动评分进行比较分析来验证系统.
- 开发的RAG框架显示了提高教育评估效率和客观性的巨大潜力.
结论:
- 使用LLM的AI驱动的音频分析为评估模拟教学提供了可扩展和有效的解决方案.
- 内部lm2模型为教师培训计划中的自动反提供了一个可行的选择.
- 这项研究强调了先进的语言技术在提高教育评估方法方面的变革潜力.
