评估大型语言模型 (LLM) 在回答和分析中国牙医执照考试中的表现
Yu-Tao Xiong1, Zheng-Zhe Zhan1, Cheng-Lan Zhong2
1State Key Laboratory of Oral Diseases & National Center for Stomatology & National Clinical Research Center for Oral Diseases & Department of Oral and Maxillofacial Surgery, West China Hospital of Stomatology, Sichuan University, Chengdu, China.
概括
中国大型语言模型 (LLM) 在医学考试中表现强,但所有模型都在对抗性测试中扎. GPT-4证明了对抗攻击的稳定性,突出了未来医学教育中LLM发展的领域.
科学领域:
- 医学教育 医学教育
- 人工智能的人工智能
- 自然语言处理自然语言处理.
背景情况:
- 评估大型语言模型 (LLM) 在医学教育中的表现至关重要.
- 本研究模拟了学生在中国牙医执照考试 (CDLE) 中使用LLMs的情况.
研究的目的:
- 在各种CDLE准备场景中评估七个LLM的表现.
- 为了比较LLM准确性,协议和教学效率.
- 在对抗测试下评估LLM的稳定性.
主要方法:
- 选择并修订了200个CDLE问题.
- 在回答,解释和对抗场景方面测试了七个中文领域的LLM.
- 使用的准确性,同意率和教学有效性得分作为指标.
- 采用了沃尔德 χ2和克鲁斯卡尔-瓦利斯测试的统计学意义.
主要成果:
- 大多数LLM都达到CDLE基准;Doubao-pro 32k和Qwen2-72b实现了81%的准确性.
- 在解释中,Doubao-pro 32k显示了98%的同意率.
- 所有的LLM都提供了有效的教学内容,尽管教学效率差异很大.
- 在对抗性测试中,GPT-4的准确度下降幅度最小 (2%),ChatGLM-4的同意率下降幅度最小 (14.6%).
结论:
- 与GPT-4相比,像Doubao-pro 32k这样的中国LLM在回答/解释医疗问题方面表现出色.
- 在逆境条件下,所有LLM的性能都下降,GPT-4显示出更大的稳定性.
- 需要进一步研究医学背景下LLM的解释性和幻觉缓解.


