使用生成性AI从临床研究摘要中自动大规模提取超过68万个PICO:一个概念验证研究

科学领域:

• 人工智能在医学中的应用
• 生物医学信息学 生物医学信息学
• 卫生技术评估 卫生技术评估

背景情况:

• 生成型人工智能 (GenAI) 显示了自动化系统文献审查 (SLR) 的潜力.
• 制药开发人员需要使用人口,干预,比较器和结果 (PICO) 框架的SLR有效的方法.
• 欧盟 (欧盟) 卫生技术评估条例 (HTAR) 要求精确和及时的单反镜头.

研究的目的:

• 评估使用GenAI从PubMed摘要中进行大规模PICO提取的可行性,准确性和效率.
• 评估生成预训练变压器4 Omni (GPT-4o) 在提取 PICO 元素方面的性能.

主要方法:

• 使用特定的搜索字符串和过器检索PubMed抽象的随机对照试验.
• 使用OpenAI批量API和自定义Python脚本处理的摘要与GPT-4o进行交互.
• 采用零射击提示策略来提取PICO元素,并将结果存储在PostgreSQL数据库中.

主要成果:

• 在不到3个小时内从682,667个摘要中提取了PICO元素,处理了395,992,770个代币.
• 每1000个摘要的平均处理时间为200秒,总成本为3390.0美元.
• 人类对350个摘要的验证证实GPT-4o准确地提取了所有PICO元素的98%,结果很少错过.

结论:

• 基因AI驱动的PICO提取可以显著改变SLR方法.
• 这种方法使制药开发人员能够主动为欧盟HTAR和其他健康技术评估做好准备.
• 使用GenAI简化了效率,并减少了与满足SLR复杂监管要求相关的负担.