基于人工智能的数据提取用于下一代风险评估:微调大型语言模型是否值得努力?

科学领域:

• 计算毒理学计算毒理学
• 科学研究中的人工智能
• 监管科学是一种监管科学.

背景情况:

• 系统性审查对于化学品风险评估至关重要,但需要大量的手工努力.
• 新方法方法 (NAMs) 产生有价值的数据,通常在科学文献中没有结构.
• 将NAM数据整合到风险评估中,对欧洲食品安全局 (EFSA) 等机构来说是一个重大挑战.

研究的目的:

• 探索大型语言模型 (LLM) 在基于NAM的风险评估中提取数据的潜力.
• 为了评估精细调整的GPT-3模型的性能与准备好使用的科学数据提取模型相比.
• 评估LLM技术进步对监管任务的影响.

主要方法:

• 使用GPT家族模型 (生成预训练变压器) 来搜索,提取和整合数据.
• 进行了双A (BPA) 的案例研究,重点是对生物活性数据的结构化提取.
• 微调了一个GPT-3 Curie模型,并将其性能与text-davinci-002和text-davinci-003模型进行比较.

主要成果:

• 精心调整的GPT-3 Curie模型的性能始终超过了现成的模型 (text-davinci-002和text-davinci-003).
• 在连续的LLM版本 (text-davinci-002与text-davinci-003) 之间观察到显著的性能改进.
• 微调增强了针对特定科学数据提取任务的LLM能力.

结论:

• 微调LLM是一种可行的策略,可以改善基于NAM的化学风险评估数据提取.
• 法学士技术的快速进步为自动化和增强科学和监管工作流提供了有希望的解决方案.
• 人工智能,特别是微调的LLM,可以为更有效和更准确的科学评估做出贡献.