评估ChatGPT-4在生殖医学中的性能和临床决策影响
Rouzhu Chen1, Danling Zeng1, Yi Li2
1The Sixth Affiliated Hospital, Sun Yat-sen University, Guangzhou, China.
概括
聊天GPT-4在生殖医学支持方面显示出前景,提供了广泛的知识,但精度可变. 专家们指出了差异,强调了其作为患者和医生补充工具的潜力.
科学领域:
- 生殖医学 生殖医学
- 医疗保健中的人工智能
- 医疗信息系统 医疗信息系统
背景情况:
- 开放AI的ChatGPT-4,一种复杂的语言模型,为医疗保健中的专业和以患者为中心的支持提供了潜力.
- 这项研究旨在评估ChatGPT-4在生殖医学知识,管理和支持方面的反应的准确性和可重复性.
研究的目的:
- 评估ChatGPT-4在回答生殖医学问题上的准确性和可重复性.
- 用相关性,准确性,完整性和可理解性指标对比专家评估来评估ChatGPT-4的性能.
主要方法:
- 聊天GPT-4回答了来自国内医生检查数据库和生殖医学指南的查询.
- 一个由三个生殖医学专家组成的小组独立评估了每个ChatGPT-4反应.
- 评估基于四个定性指标:相关性,准确性,完整性和可理解性.
主要成果:
- 聊天GPT-4在生殖医学方面表现出广泛的知识,对客观问题平均得分为4 (相关性),3.5 (准确性),3 (完整性) 和3 (可理解性).
- 多选题的复合准确率为63.38%,具有显著的专家间得分差异.
- 对指导方针的回应显示了不同的理解,缺乏区域差异,但为调整提供了实际建议.
结论:
- 聊天GPT-4在提供生殖医学信息和支持方面展示了优势和局限性.
- 该模型可以作为患者和医生的宝贵补充工具,以提高生殖医学结果.
