大型语言模型在儿科科临床决策支持中的性能评价:综合性评估

科学领域:

• 医疗保健中的人工智能
• 儿科病学研究研究 儿科病学研究
• 临床决策支持系统 临床决策支持系统

背景情况:

• 人工智能的进步导致了大型语言模型 (LLM) 的开发,这些模型具有潜在的医疗保健应用.
• 目前,关于在儿科脏病学专业领域内实施和执行LLM的研究有限.
• 本研究通过评估LLM在支持儿科脏病学家临床决策方面的表现来弥补这一差距.

研究的目的:

• 评估当代大型语言模型 (LLM) 在帮助儿科脏病学临床决策方面的表现.
• 为了比较各种全科医生和专业的LLM在儿科脏病学案例中的准确性,个性化和安全性.

主要方法:

• 开发了10个经过专家验证的儿科脏病学临床病例,涵盖了诊断,调查,治疗和临床推理.
• 十个LLM,包括通用模型 (克劳德,聊天GPT,双子座等). 和一个专门的微调模型 (Phi 4 Nomic) 进行了评估.
• 绩效指标包括准确性,个性化,内部矛盾,幻觉和识别潜在的危险决策.

主要成果:

• 总体准确性差异很大,克劳德达到最高的86.9%,而双子座达到最低的50.8%.
• 所有评估的LLM都显示了幻觉和可能危及生命的建议,排除了无监督使用.
• 特定域微调提高了整体性能,但没有提高模型的推理能力.

结论:

• 目前的大型语言模型显示出支持儿科科任务的潜力,但由于幻觉和危险建议等风险,它们不适合自主临床实施.
• 在严格的临床监督下,LLM可以在重复性任务中发挥支持作用.
• 专注于减轻幻觉和提高可解释性的进一步研究对于安全有效地将LLM纳入儿科脏病实践至关重要.