当代大型语言模型在简短的临床图片上的诊断和选性能

科学领域:

• 人工智能在医学中的应用
• 临床决策支持系统 临床决策支持系统
• 自然语言处理自然语言处理.

背景情况:

• 大型语言模型 (LLM) 越来越多地被用于临床决策支持,但与人类临床医生相比,它们的诊断和分拣可靠性尚未得到充分证实.
• 在现实的临床场景中评估LLM绩效对于安全有效地融入医疗保健至关重要.

研究的目的:

• 评估八个当代LLM在临床细节上的诊断和分拣准确性.
• 为了比较LLMs的性能与没有结构化提示.
• 评估提示对安全,过量选和不足选的影响.

主要方法:

• 八个LLM被评估在48个单回合临床小组中,跨越四个分拣级别.
• 模型使用未提示和结构化 (基于示例) 提示进行了测试.
• 关键结果包括诊断准确性,分拣准确性,建议的安全性和过分分拣率.

主要成果:

• 结构化提示使平均诊断准确度从89.84%提高到91.67%,平均分拣准确度从76.82%提高到86.20%.
• 最好的诊断准确率达到93.75%,LLM显示出高性能,特别是在诊断方面.
• 促使建议的安全性提高 (89.06%至94.53%),但也导致过度选率提高 (53.15%至65.62%).

结论:

• 先进的LLM在基于文本的临床细节上表现出高的诊断准确性,接近医生水平的性能.
• 选准确性仍然是LLMs的一个重大挑战,尽管结构化提示提供了实际的改进.
• 需要对不确定性意识提示和多轮,多模式病例进行进一步的研究,以加强临床可靠性.