评估GPT-4在提供医疗建议方面的表现:与人类专家进行比较分析

科学领域:

• 医疗保健中的人工智能
• 医疗信息学 医疗信息学
• 自然语言处理自然语言处理.

背景情况:

• 准确的医疗建议对于患者护理至关重要,而错误信息可能会产生严重的后果.
• 像GPT-4这样的大型语言模型 (LLM) 具有自动化医疗咨询的潜力.
• 将LLM绩效与医疗保健人类专家进行比较的研究是有限的.

研究的目的:

• 将GPT-4的医疗准确性与心脏病学人类专家进行比较.
• 分析特定问题类别的性能差异,如药物信息和初步诊断.
• 评估人工智能产生的答案与人类专家答案的清晰度,复杂性,准确性和适当性.

主要方法:

• 收集了251个心脏病学问题和专家答案;GPT-4生成了对相同问题的答案.
• 三位心脏病学家评估和比较AI和人类专家的答案,使用三级分级表.
• 语言分析 (词数,类型-令牌比率) 与响应长度和词汇多样性进行了比较.

主要成果:

• GPT-4和人类专家显示出可比的整体医疗准确性 (52.6%对47.4%的偏好).
• 人类专家提供了更多的高精度响应,但也提供了更高比例的低精度响应.
• GPT-4的答案较长,词汇较少多样化,可能有助于用户的理解,但人类专家在药物信息和初步诊断方面表现出色.

结论:

• GPT-4显示了自动化医疗咨询的前景,与人类专家的准确性相匹配.
• 细微的临床判断仍然是LLM的挑战,强调了临床推理整合的必要性.
• 需要进一步的研究和监管监督,以确保在各种医疗专业中安全有效地使用LLM.