[生成预训练变压器-4在心理健康管理认证考试中的表现:一个因数设计]
Kazuhiro Watanabe1,2, Yasuhiro Tsutsui1,3, Takao Tsutsui1,4
1Occupational Health AI Research Group for the Japan Society for Occupational Health.
Sangyo eiseigaku zasshi = Journal of occupational health
|September 16, 2024
概括
生成式预训练型变压器-4 (GPT-4) 在心理健康管理测试中表现出色,符合II和III级标准. 然而,GPT-4需要外部信息来进行高级I级测试.
科学领域:
- 人工智能的人工智能
- 自然语言处理自然语言处理.
- 心理健康管理 心理健康管理
背景情况:
- 心理健康管理认证考试评估了对职业心理健康专业人员至关重要的知识.
- 在专业领域评估先进的人工智能模型 (如GPT-4) 的功能,对于理解它们的潜在应用是必不可少的.
研究的目的:
- 评估生成预训练变压器-4 (GPT-4) 在心理健康管理认证测试中的表现.
- 确定快速工程技术是否可以提高GPT-4在本测试中的性能.
主要方法:
- 采用了3x2的因数设计,测试了GPT-4在心理健康管理测试的三个难度级别 (I-III) 上.
- 使用了两个提示条件:简单的提示和调整的提示,旨在引起更好的响应.
- 通过OpenAI API使用GPT-4 (gpt-4-0613),为每个级别准备了200个多项选择和散文问题.
主要成果:
- GPT-4分别在III,II和I级获得了74.5%,71.5%和64.0%的分数,超过了II和III级的标准.
- 在简单和调整的提示条件之间没有发现显著的性能差异 (p=0.908).
- 虽然调整提示并没有提高整体分数,但与简单提示相比,它们减少了错误答案和改善了输出组织.
结论:
- GPT-4证明了职业心理健康的强大知识基础,满足认证测试中级和高级水平的标准.
- 要求细微描述的I级测试的表现不符合通过标准,这表明需要外部信息集成.
- 快速调整显示了改进AI输出质量的潜力,并防止意外响应,即使没有显著的得分改善.
