在韩国全国职业治疗执照考试中ChatGPT的表现
Si-An Lee1, Seoyoon Heo2, Jin-Hyuck Park3
1Department of ICT convergence, The Graduate School, Soonchunhyang University, Asan, Republic of Korea.
Digital health
|March 4, 2024
概括
最近几年,大型语言模型 (LLM) ChatGPT 没有通过韩国国家职业治疗许可考试 (NKOTLE). 尽管没有获得通过分数,但其与韩国提示的表现显示了职业治疗应用的前景.
科学领域:
- 人工智能的人工智能
- 自然语言处理自然语言处理.
- 职业疗法 职业疗法 职业疗法
背景情况:
- 像ChatGPT这样的大型语言模型 (LLM) 在医疗保健中越来越多地使用.
- 在职业治疗中LLM的应用仍未得到充分研究.
- 这项研究解决了在职业治疗中了解LLM能力的差距.
研究的目的:
- 评估ChatGPT在韩国全国职业治疗执照考试 (NKOTLE) 的准确性.
- 调查ChatGPT在职业治疗实践和教育中使用的潜力.
- 使用韩语语言提示符来评估ChatGPT的性能.
主要方法:
- 使用ChatGPT 3.5进行分析.
- 采用了NKOTLE过去五年的多项选择题.
- 三个独立的编码器使用韩国提示符输入数据.
- 根据正确答案的数量得分.
主要成果:
- 在NKOTLE年度中,ChatGPT没有达到60%准确度的最低通过分数.
- 编码器之间的分级协议始终为0.6或更高.
- 性能特别接近通过门,尽管只使用韩国提示.
结论:
- 聊天GPT目前没有足够的熟练通过NKOTLE.
- 该模型显示了人类评级者之间的高度一致性和一致性.
- 未来的代可能对职业治疗有很大的潜力,特别是在特定语言的培训中.


