提示就是你需要的一切:如何让LLM更有帮助临床决策支持

科学领域:

• 人工智能在医学中的应用
• 临床决策支持系统 临床决策支持系统
• 神经学 神经学
• 自然语言处理自然语言处理.

背景情况:

• 大型语言模型 (LLM) 显示出临床决策支持的前景,但显示出可变的准确性.
• 快速工程可以在临床环境中优化LLM性能,但神经病学的特定最佳实践仍然未得到充分探索.
• 有效的LLM整合需要了解如何最好地获得准确和安全的临床建议.

研究的目的:

• 为了比较结构化提示 (CARDS) 与天真提示对急性中风血栓溶解临床决策支持 (CDS) 的LLM绩效的影响.
• 评估四个LLM (两个封闭源代码和两个开源) 使用现实的临床图片.
• 评估关键领域的绩效,包括指导方针的遵守,安全性和建议的明确性.

主要方法:

• 通过使用一个天真的问题或五步结构化提示 (CARDS),向LLMs展示了三个新的缺血性中风风景.
• 卡片提示指导信息提取,时间分析,禁忌检查,决策解释和风险-收益讨论.
• 对LLM的输出进行了评估,对准则的遵守,不安全的建议,风险识别,准则分级的准确性,对话式解释,清晰度和帮助性进行了评估.

主要成果:

• 结构化提示在关闭源代码 (GPT-4o, o3) 和开源 (r1-1776) 模型中,在大多数评估领域显著提高了性能.
• 封闭源代码模型和r1-1776模型实现了100%的准则遵守,并通过结构化提示消除了不安全的建议.
• 其他开源模型显示了适度的增长,突出了LLM对结构化提示的响应的变化.

结论:

• 结构化的提示大大提高了急性中风血栓溶解临床决策支持的LLM性能,提高了安全性和遵守性.
• 特定的模型,包括专有和开源选项,在结构化提示中表现出色.
• 结构化的提示对于临床LLM部署至关重要,尽管人类监督仍然至关重要.