使用大型语言模型进行自动抽象选的问答框架

科学领域:

• 医疗信息学 医疗信息学
• 医疗保健中的人工智能
• 证据综合 证据综合

背景情况:

• 系统审查 (SRs) 需要严格的抽象选,这个过程往往耗时且资源密集.
• 目前抽象查的方法可能是低效的,导致证据合成的延迟.

研究的目的:

• 开发和验证一种新的框架,用于在SR中进行抽象选,使用大型语言模型 (LLM) 的零射击能力.
• 将抽象选转化为问答 (QA) 任务,利用LLM使摘要与SR选择标准保持一致.

主要方法:

• 通过将抽象选作为质量保证任务,LLM被用来优先考虑候选人研究,其中选择标准充当问题.
• 该框架涉及将标准分解为问题,提示LLM,评分答案,并结合包含/排除决策的答案.
• 验证是在CLEF eHealth 2019 Task 2基准上进行的,使用GPT-3.5并与31个数据集的传统和微调的BERT家族模型进行比较.

主要成果:

• 拟议的基于LLM的质量保证框架在优先考虑研究方面,比传统的信息检索和微调的BERT模型具有显著的优势.
• 通过根据摘要和选择标准之间的语义对齐重新排名LLM答案,实现了性能改善.
• 该框架在各种SR类别中表现出一致的有效性,并证明在不同的LLM中具有可行性.

结论:

• 通过使用开发的质量保证框架,LLM在优先考虑候选研究方面非常有效,以便在SR中进行抽象选.
• 利用选择标准作为查询显著提高了自动抽象选的性能.
• 该研究强调了LLM在简化和提高证据综合过程效率方面的潜力.