日本医疗保健信息技术人员使用聊天生成预训练变压器的响应分析

科学领域:

• 医疗信息学 医疗信息学
• 医疗保健中的人工智能
• 卫生信息技术 信息技术

背景情况:

• 像ChatGPT这样的人工智能 (AI) 越来越多地融入医疗保健,需要评估其准确性和可靠性.
• 评估AI在非英语医学环境中的表现对于全球采用和安全实施至关重要.
• 医疗保健信息技术员考试为特定领域的知识提供了标准化的衡量标准.

研究的目的:

• 评估默认ChatGPT模型的可靠性,以评估医疗信息知识.
• 为了确定ChatGPT对日本医疗保健,信息技术和健康信息系统考试的答案的准确性.
• 确定ChatGPT缺乏医疗知识的特定领域,特别是有关标准和法律的领域.

主要方法:

• 使用ChatGPT的默认模型进行分析.
• 根据日本的医疗保健信息技术员考试进行了一组问题.
• 计算了不同学科的平均正确答案率.

主要成果:

• 在医疗保健方面实现了86%的平均正确答案率,在信息技术方面达到93%,在健康信息系统方面达到81%.
• 对于涉及特定医疗标准和法律的问题,准确率较低.
• 确定了医疗领域的监管和法律方面的知识差距.

结论:

• 在非英语背景下,ChatGPT在一般医学和IT知识方面表现出高度的准确性.
• 模型的性能受到其对特定医疗标准和法律的有限理解的影响.
• 在使用ChatGPT获取医疗信息时,建议谨慎使用,因为解释可能包含不准确的信息,特别是在规定方面.