大型语言模型在通过标题和摘要选识别符合条件的研究方面的人类可比的敏感性:使用GPT-3.5和GPT-4进行系统审查的3层策略
Kentaro Matsui1,2, Tomohiro Utsumi2,3, Yumi Aoki4
1Department of Clinical Laboratory, National Center Hospital, National Center of Neurology and Psychiatry, Kodaira, Japan.
Journal of medical Internet research
|August 16, 2024
概括
本研究引入了使用GPT-4进行系统审查的三层选方法,显著提高了效率,并保持了相关记录的高灵敏度. 基于人工智能的方法简化了选过程,使系统审查更容易获得.
科学领域:
- 图书计量和信息科学 图书计量和信息科学
- 研究中的人工智能.
- 医疗信息学 医疗信息学
背景情况:
- 系统审查选是耗时和劳动密集的.
- 之前的AI解决方案减少了工作量,但冒着排除相关研究的风险.
- 开发高效准确的选方法对于证据综合至关重要.
研究的目的:
- 评估使用GPT-3.5和GPT-4进行系统审查的三层选方法.
- 为了简化系统审查的标题和摘要选.
- 在系统审查选过程中最大限度地提高识别相关记录的敏感性.
主要方法:
- 应用了使用GPT-3.5和GPT-4.5的三层选过程 (研究设计,患者,干预).
- 选了来自两项关于双相情感障碍治疗的系统审查的1381和3146条记录.
- 使用量身定制的提示符和自动化的GPT-4流程来提取信息并优化选.
主要成果:
- 在GPT-3.5和GPT-4中,每分钟选约110个记录.
- 在排除后,GPT-4获得了高灵敏度和特异性 (例如,在研究1中为0.962/0.996,在研究2中为0.943/0.855).
- 人工智能选灵敏度与人类评估器一致,GPT-4显示的域知识相关错误比GPT-3.5.5更少.
结论:
- 使用GPT-4的3层选方法证明了系统审查的实际可行性.
- 该方法显示了可接受的灵敏度和特异性,以进行高效的查.
- 需要进行进一步的研究,以便在各种环境中将该方法概括,并确定操作可行性.
关键词:
在 GPT-3.5 中使用.在 GPT-4 中使用.人工智能的人工智能是人工智能.信息科学 信息科学 信息科学语言模型语言模型图书馆科学 图书馆科学这是一个元分析.快速的工程迅速的工程查检查 查检查 查检查 查检查系统性审查 系统性审查更多相关视频
06:48Lexical Decision Task for Studying Written Word Recognition in Adults with and without Dementia or Mild Cognitive Impairment
Published on: June 25, 2019
9.1K
09:35A Protocol for Using Gene Set Enrichment Analysis to Identify the Appropriate Animal Model for Translational Research
Published on: August 16, 2017
17.8K