评估ChatGPT-3.5在瘤学方面的知识:与ASCO-SEP基准标准进行比较研究

科学领域:

• 在瘤学中使用人工智能
• 医学教育和评估.
• 临床决策支持系统 临床决策支持系统

背景情况:

• 聊天GPT (开放AI) 是一个先进的人工智能 (AI) 大型语言模型.
• 美国临床瘤学会自我评估计划 (ASCO-SEP) 为瘤学家提供教育内容.
• 随着人工智能应用的扩展,对AI性能与既定医疗标准进行评估至关重要.

研究的目的:

• 评估ChatGPT-3.5的知识是否符合ASCO-SEP设定的瘤学家基准.
• 了解像ChatGPT这样的AI工具在支持瘤学临床决策方面的潜力.

主要方法:

• 系统评估ChatGPT-3.5在1000多个ASCO-SEP多选题中的表现.
• 问题涵盖了癌症护理的范围,按癌症类型/学科分类,并按诊断,治疗或其他类别分类.
• 通过将ChatGPT-3.5的答案与官方ASCO-SEP答案进行比较来确定正确性.

主要成果:

• 聊天GPT-3.5的整体准确率达到了56.1% (583/1040个正确答案).
• 精度因癌症类型而异,在发育治疗中表现最高 (80%),在胃肠癌中表现最低 (48.8%).
• 在诊断,治疗或其他子类别中没有发现显著的性能差异 (P=.16).

结论:

• 聊天GPT-3.5对瘤学中的AI有希望,但需要进一步开发以满足临床能力标准.
• 未来的研究应该调查ChatGPT在现实世界的场景,工作流集成和协作护理中的实用性.
• 持续评估至关重要,以确保人工智能工具有效地支持瘤学家并增强患者护理.