通过大型语言模型模拟的合成患者-医生对话:一个多维评估

科学领域:

• 医疗保健中的人工智能
• 自然语言处理自然语言处理.
• 医疗教育 技术 技术 医学教育

背景情况:

• 由于隐私和物流,医疗保健AI面临着数据可访问性挑战.
• 合成数据提供了一个解决方案,通过模仿真实患者信息而不会损害隐私.
• 大型语言模型 (LLM) 为产生现实的临床对话提供了新的机会.

研究的目的:

• 评估四个领先的LLM在生成合成患者-医生交互成绩单方面的表现.
• 评估在整形手术场景中LLM产生的临床对话的现实性,准确性和实际相关性.

主要方法:

• 四位LLM (ChatGPT 4.5,ChatGPT 4o,Claude 3.7 索内特,Gemini Pro 2.5) 每位为10个整形手术场景生成了成绩单.
• 经过临床培训的评级人员使用7个标准标签 (医疗准确性,现实主义,人格一致性,忠诚度,同情心,相关性,可用性) 在5分利克尔特尺度上评估成绩单.
• 基于语言和内容的自动化指标也被用于分析.

主要成果:

• 所有LLM都表现出强的表现,所有标准的平均评分都高于4.5.
• 双子 2.5 Pro 在医学准确性,现实主义,人格一致性,相关性和可用性方面表现出色.
• 克劳德3.7索内特在同理心方面领先,而ChatGPT 4.5显示了高的同理心和可用性得分. 模型之间没有发现统计学上显著的差异.
• 自动化分析显示了对话长度和情感表达力的差异,Gemini 2.5 Pro产生了最长和最富有表达力的对话.

结论:

• 领先的LLM可以产生医学上准确和情感上适当的合成对话,用于医学教育和研究.
• 生成患者的人口统一性需要在多样性和偏见缓解方面进行改进.
• 由LLM产生的对话可以谨慎地整合到医学培训,模拟和研究环境中.