评估GPT-3.5在USMLE风格医疗计算和GPT-4产生的临床场景中的性能

科学领域:

• 人工智能在医学中的应用
• 自然语言处理自然语言处理.
• 医疗教育 技术 技术 医学教育

背景情况:

• 像GPT-3.5这样的大型语言模型 (LLM) 在医疗应用中显示出潜力.
• 快速工程对于优化LLM性能至关重要.
• 针对医疗问题回答的不同快速策略的有效性仍在研究中.

研究的目的:

• 评估直接提示,思维链 (CoT) 和修改后的CoT对GPT-3.5在医学问题上的准确性的影响.
• 评估GPT-3.5在USMLE第一步式临床和基于计算的问题上的表现.
• 用真实考试问题和人工智能生成的医疗查询来比较提示工程的有效性.

主要方法:

• 使用直接提示,CoT和修改的CoT进行了GPT-3.5的测试.
• 使用了两组问题:95个真正的USMLE第一步问题和1000个GPT-4生成的医学问题.
• 通过准确地回答临床和基于计算的医学问题来衡量表现.

主要成果:

• 在GPT-3.5.5的直接提示,CoT和修改的CoT之间没有发现统计学上显著的准确性差异.
• 对于USMLE问题,准确率为61.7% (直接),62.8% (CoT) 和57.4% (修改的CoT) (p=0.734).
• 对于GPT-4生成的问题 (p>0.05) 也观察到类似的非显著趋势.

结论:

• 思想链 (CoT) 提示工程并没有显著提高 GPT-3.5 回答 USMLE 风格医疗问题的能力.
• 在医疗查询的不同提示类型中,GPT-3.5表现出一致的性能.
• 结果表明,像ChatGPT这样的AI工具在医学教育和实践中可以简化整合,而无需复杂的提示工程.