评估ChatGPT-3.5在医学遗传学专家考试中的表现

科学领域:

• 医学遗传学 医学遗传学
• 教育中的人工智能

背景情况:

• 人工智能 (AI) 越来越多地融入医疗教育和评估中.
• 在医疗检查中,OpenAI的ChatGPT已经证明了可变的性能.
• 它在医学实验室遗传学的有效性,一个专业领域,尚未确定.

研究的目的:

• 评估ChatGPT-3.5在医学实验室遗传学国家专家检查中的性能.
• 评估ChatGPT-3.5在不同类型和复杂度的问题中的准确性和一致性.

主要方法:

• 利用了波兰国家医学实验室遗传学专家考试的456个公共问题.
• 按主题 (例如计算,遗传方法,临床病例) 和复杂性 (简单与复杂) 分类问题.
• 向ChatGPT-3.5提交了三次问题,并对准确性和一致性进行了统计分析.

主要成果:

• 聊天GPT-3.5的整体准确率达到了59% (P < .001).
• 根据类别,准确度有很大的差异:计算为71%;遗传方法/改变为60%;临床病例为37%.
• 简单问题 (63%) 的表现高于复杂问题 (43%,P = .001).
• 在三次重复测试中,准确性保持一致 (P = .43).

结论:

• 在医学实验室遗传学专家考试问题上,ChatGPT-3.5表现出中等准确性和稳定的性能.
• 人工智能工具显示出支持该领域教育的潜力.
• 处理复杂,特定领域推理的局限性凸显了在广泛采用之前需要进一步开发人工智能.