对临床决策支持的六大语言模型的评估:对 RhD 血型患者的输血决策中的应用

科学领域:

• 医疗信息学 医疗信息学
• 医疗保健中的人工智能
• 临床决策支持系统 临床决策支持系统

背景情况:

• 大型语言模型 (LLM) 显示出临床决策支持的前景.
• 它们在 RhD 血液分类等特定任务中的应用尚未得到充分研究.
• 这项研究评估了韩国医疗保健中RhD血型问题的LLM准确性.

研究的目的:

• 评估六个LLM在解决RhD血型相关问题的准确性.
• 为了比较LLM的表现与输血医学专家.
• 探索快速工程对LLM准确性的影响.

主要方法:

• 开发了15个关于输血场景的多项选择和真假问题.
• 在韩语和英语中向六个LLM (Clova X,Gemini 1.0,Gemini 1.5,ChatGPT-3.5,GPT-4.0,GPT-4o) 提出问题.
• 与22名输血医学专家进行LLM结果比较; 应用快速工程来解决具有挑战性的问题.

主要成果:

• 在韩国语 (0.6) 中,GPT-4o获得了最高的精度,超过了Clova X和Gemini (P <0.05).
• 输血专家显示出更高的准确性 (0.8).
• 快速工程改善了GPT-4o对一个问题的反应;其他模型失败了;LLM在重复时显示不一致的反应.

结论:

• 在 RhD 输血决策支持方面,GPT-4o 在评估的 LLM 中表现最好.
• 法学士的表现表明了潜在的支持作用,而不是主要的决策.
• 需要进一步的研究来优化临床应用的LLM.