在零射击临床自然语言处理中推动大型语言模型策略的实证评估:算法开发和验证研究

科学领域:

• 人工智能的人工智能
• 自然语言处理自然语言处理.
• 临床信息学 临床信息学

背景情况:

• 大型语言模型 (LLM) 显示出显著的自然语言处理 (NLP) 能力,特别是在数据稀缺的临床领域.
• 有效的快速工程对于在没有任务特定培训数据的情况下利用临床NLP中的LLM至关重要,从而实现上下文学习.
• 了解LLM的优势和即时的工程细微差别对于临床信息提取至关重要.

研究的目的:

• 评估各种提示工程技术,包括新的启发式提示和组合提示.
• 通过使用预训练的语言模型,评估这些提示对零射击和少数射击临床信息提取的有效性.
• 在各种临床NLP任务中比较不同提示类型的性能.

主要方法:

• 提示类型的实验性评估:简单的前,简单的cloze,思维链,预测,启发式和整体.
• 在五个临床NLP任务中进行评估:明确,证据提取,核心引用解决和药物状态/属性提取.
• 使用了三种最先进的LLM (GPT-3.5,Gemini,LLaMA-2),并比较了零射击与少数射击的提示.

主要成果:

• 针对特定任务的提示量身定制显著提高了在零射击临床NLP的LLM性能.
• 启发式提示和思维链提示在各个任务中都非常有效.
• 与Gemini和LLaMA-2相比,GPT-3.5在所有评估的任务和提示类型中表现出更高的性能.
• 少数拍摄提示和整体方法改善了复杂场景中的结果.

结论:

• 这项研究严格评估了临床信息提取的快速工程,强调了上下文学习的潜力.
• 结果为未来基于提示的临床NLP研究提供了指导方针,鼓励更广泛的专家参与.
• 这项工作开创了在生成AI时代对临床NLP即时工程的实证评估.