评估大语言模型在回答神经生理学问题的优缺点
Hassan Shojaee-Mend1, Reza Mohebbati2, Mostafa Amiri1,3
1Department of General Courses, Faculty of Medicine, Gonabad University of Medical Sciences, Gonabad, Iran.
Scientific reports
|May 11, 2024
概括
大型语言模型 (LLM) 显示出强大的神经生理学知识,但难以进行复杂的推理. 需要进一步培训,以提高他们在专业科学领域的高级理解和知识整合.
科学领域:
- 神经科学和人工智能 人工智能
背景情况:
- 大型语言模型 (LLM) 展示了先进的自然语言处理技能.
- 评估LLM在神经生理学等专业科学领域的熟练程度对于研究和临床应用至关重要.
研究的目的:
- 评估和比较LLMs在回答神经生理学问题中的有效性,用英语和波斯语.
- 分析跨不同主题和认知水平的LLM绩效.
主要方法:
- 设计了20个神经生理学问题,涵盖了四个主题和两个认知水平.
- 物理学家在0-5级别上对LLM生成的论文答案进行了评分.
- 统计和定性分析发现了业绩差异和推理差距.
主要成果:
- 课程的总体表现很好 (平均得分为3.87/5),语言或认知水平之间没有显著差异.
- 运动系统主题 (4.41/5) 的表现最高,整合主题 (3.35/5) 的表现最低.
- 定性分析揭示了推理,优先级和知识整合方面的局限性.
结论:
- 法学士在神经生理学方面表现出一般的熟练程度,但面临着先进推理和整合复杂知识的挑战.
- 有针对性的培训可以提高LLMs在知识差距和因果推理方面的能力.
- 持续的特定领域的评估对于跟踪LLM科学进步至关重要.


