聊天机器人回应表明,假设的生物学问题比现实的问题更难

科学领域:

• 生物教育教育 生物学教育
• 认知科学 认知科学
• 人工智能的人工智能

背景情况:

• 不熟悉的问题被认为可以揭示学生对生物学更深入的理解.
• 有限的证据存在于新的与熟悉的生物学问题的独特认知需求.
• 大型语言模型 (LLM) 提供了一种新的方法来建模学生的认知.

研究的目的:

• 调查是否新的 (假设的) 生物学问题比熟悉的 (现实的) 问题提出了不同的认知挑战.
• 评估大型语言模型 (LLM) 聊天机器人的实用性,作为生物学学生评估问题难度的代理.
• 探索假设问题类型 (重新定义与发明) 对认知负载的影响.

主要方法:

• 为人类生理学和细胞生物学开发了匹配的现实和假设问题的集合,与特定的课程学习目标 (LLOs) 保持一致.
• 将假设问题归类为涉及重新定义 (已知的实体的非典型属性) 或发明 (虚构实体).
• 利用基于LLM的聊天机器人作为生物学学生的模型来评估两种问题类型的表现.

主要成果:

• 与现实问题相比,聊天机器人在假设问题上得分明显低,平均得分下降了13%.
• 涉及重新定义的假设问题证明特别具有挑战性,聊天机器人的性能类似于随机猜测.
• 在不同类型的假设问题中,LLM的表现差异很大,这表明认知需求差异.

结论:

• 假设的生物学问题,通过改变认知需求,可以更准确地评估学生在不同背景下对核心概念的应用.
• 测试问题模板 (TQT) 框架可以帮助教育工作者创建公平但具有挑战性的评估,与LLOs保持一致.
• 教师必须适应人工智能的不断增长的能力,专注于公平公正的评估设计,而不是试图规避人工智能工具.