在医学文献中挖掘人类-人工智能合作的基础模型

科学领域:

• 生物医学信息学 生物医学信息学
• 人工智能在医学中的应用
• 基于证据的医学基于证据的医学.

背景情况:

• 系统的文献审查对基于证据的医学至关重要.
• 目前在审查中的人工智能应用受到培训和评估挑战的限制.
• 大型语言模型 (LLM) 是有前途的,但需要对特定领域进行优化.

研究的目的:

• 介绍LEADS,一个专门的AI基础模型,用于系统的文献评论.
• 评估LEADS的表现与现有的尖端LLM在文献挖掘任务上的表现.
• 评估LEADS在临床专家工作流程中的实际实用性.

主要方法:

• 在LEADS的培训中,使用了包括系统审查,临床试验出版物和注册表在内的大量数据集.
• 在六个文献挖掘任务中,性能与四个领先的LLM进行了比较.
• 一项涉及临床医生和研究人员的用户研究评估了LEADS对研究选择和数据提取效率和准确性的影响.

主要成果:

• 在文献挖掘任务中,LEADS表现优于现有的LLM.
• 在研究选择中,LEADS从0.78提高了回忆力到0.81,时间缩短了20.8%.
• 对于数据提取,LEADS将精度从0.80提高到0.85,并节省了26.9%的时间.

结论:

• 在高质量的域数据上训练的专业人工智能模型可以超过通用LLMs.
• 在系统的文献审查中,LEADS显著提高了专家的生产力.
• 这项工作支持开发特定领域的LLM,以推进基于证据的医学.