使用大型语言模型对食道切除术的自动化纸张查进行系统审查的验证

科学领域:

• 医疗信息学 医疗信息学
• 医疗保健中的人工智能

背景情况:

• 系统审查是劳动密集型的.
• 大型语言模型 (LLM) 提供了潜在的解决方案.
• 这项研究评估了GPT-4用于确定食道切除术中的外科风险因素.

研究的目的:

• 评估 GPT-4 识别术后患食道切除并发症的危险因素的文章的能力.
• 用更狭窄的纳入标准来评估GPT-4的表现,特别是术前风险因素.

主要方法:

• 一位图书馆员进行了文献搜索,发现了1967项研究.
• 文章由三个人类审稿人和GPT-4审查.
• 将GPT-4的决定与使用API调用和自然语言标准的人类审查员进行了比较.

主要成果:

• 对于术前因素,GPT-4与人类达成85.58%的一致性,对于术前因素达成78.75%的一致性.
• 对于外科手术前的因素,回忆率为89%,而对于外科手术前的因素,回忆率为67%.
• GPT-4在简化系统审查工作流程方面被证明是有价值的,其中的理由有助于解决差异.

结论:

• 在简化系统审查工作流程方面,LLM显示出有前途的实用性,可能节省时间和成本.
• 建议谨慎对严格的纳入/排除标准进行审查.
• 未来的研究应该在其他系统审查阶段探索LLM,并比较不同的模型.