从开放式学习者反中获得洞察力:对自然语言处理方法的探索
Marta M Maslej1, Kayle Donner, Anupam Thakur
1Dr. Maslej: Staff Scientist, Krembil Centre for Neuroinformatics, Centre for Addiction and Mental Health, and Assistant Professor, Department of Psychiatry, University of Toronto, Toronto, Canada. Mr. Donner: Research Methods Specialist, Office of Education, Centre for Addiction and Mental Health, Toronto, Canada. Dr. Thakur: Psychiatrist, Adult Neurodevelopmental Services, Centre for Addiction and Mental Health and Assistant Professor, Department of Psychiatry, University of Toronto, Toronto, Canada. Dr. Islam: Manager Evaluation & Quality Improvement, Office of Education, Centre for Addiction and Mental Health, Toronto, Canada. Dr. Costa-Dookhan: Resident Physician, Office of Education, Centre for Addiction and Mental Health, and Temerty Faculty of Medicine, University of Toronto, Toronto, Canada. Dr. Sockalingam: Senior Vice President-Education, Chief Medical Officer, Office of Education, Centre for Addiction and Mental Health, and Professor, Department of Psychiatry, University of Toronto, Toronto, Canada.
大型语言模型 (LLM) 有效地分析学习者反以继续专业发展,优于传统的主题建模和情绪分析以从开放式响应中提取有价值的见解.
科学领域:
- 医学教育 医学教育
- 自然语言处理自然语言处理.
- 精神病学培训 精神病学培训
背景情况:
- 对开放式学习者反的定性分析是耗时的.
- 自然语言处理 (NLP) 为高效的反分析提供了潜力.
- 特定的NLP方法对于持续健康教育反的实用性尚未得到充分证实.
研究的目的:
- 评估NLP方法来分析来自持续专业发展 (CPD) 培训的开放式反.
- 为了比较主题建模,情感分析和基于大型语言模型 (LLM) 的聚类,从学习者反中获得见解.
主要方法:
- 分析了使用主题建模的"使用意图"响应 (n=480).
- 通过情绪分析分析了"开放式反" (n=291).
- 应用了基于LLM的对两个响应类型的聚类.
主要成果:
- 主题建模对于"使用意图"的响应是无效的,原因是简短和缺乏多样性.
- 情绪分析未能准确地捕捉到"开放式反"的价值.
- 基于LLM的集群成功地为两种响应类型生成了有意义的,语义上连贯的集群.
结论:
- 通过捕捉上下文细微差别,LLM显示了分析学习者反的前景.
- 基于LLM的聚类可以区分类似的措辞但含义不同的响应.
- 进一步的研究应该探索在各种数据集和反类型上的LLM应用.
相关概念视频
Positive and Negative Feedback Loops
Feedback Loops
Metacognition
Naturalistic Observations
Communication
Purposive Learning


