聊天GPT-4在台湾传统中医药执照考试上的表现:跨部门研究

科学领域:

• 医学教育 医学教育
• 人工智能的人工智能
• 传统中国医药 传统中国医药

背景情况:

• 人工智能 (AI),特别是ChatGPT,在医学教育中显示出潜力,但其在中国传统医学 (TCM) 考试中的应用尚未建立.
• 人工智能工具在评估TCM知识方面的有效性需要进一步调查.

研究的目的:

• 评估ChatGPT (GPT-4模型) 在台湾2022年传统中医药许可证考试中的表现.
• 评估ChatGPT对TCM问题的答案的可解释性,并确定其作为学习工具的适用性.

主要方法:

• 该GPT-4模型回答了2022年TCM许可证考试中的480个问题.
• 模型的表现与使用直接答案选择和基于解释的方法的授权TCM医生进行了比较.
• 分析包括准确性,一致性和问题特征 (认知水平,知识深度,问题类型,图片风格,极性).

主要成果:

• 聊天GPT的整体准确率为43.9%,明显低于人类参与者 (70%和78.4%).
• 没有发现模型准确性和问题特征之间的显著相关性.
• 大多数错误 (55.3%) 源于对中医概念的误解,表明知识和推理的局限性.

结论:

• 目前的AI模型,如ChatGPT,在TCM许可证考试中表现不够好.
• 通过专门的TCM培训来增强AI对于其在医学教育中的有效使用至关重要.
• 进一步的研究应侧重于改进人工智能模型和开发定制的TCM教育应用程序.