使用生成AI对FDA指导文件的语义搜索

科学领域:

• 监管科学 监管科学
• 人工智能在医学中的应用

背景情况:

• 生成型人工智能 (AI) 为获取对监管人类药物和生物产品至关重要的信息提供了变革性的潜力.
• 有效的信息检索对于监管过程至关重要.

研究的目的:

• 评估一个带有提取增强生成 (RAG) 架构的生成AI应用程序,以根据FDA指导文件准确地回答问题.
• 在RAG框架内确定不同大型语言模型 (LLM) 的有效性,用于监管信息检索.

主要方法:

• 五个LLM (Flan-UL2,GPT-3.5 Turbo,GPT-4 Turbo,Granite,Llama 2) 在金色复原犬RAG应用程序中进行了测试.
• 模型被配置为准确的答案 (低温),以确保可靠的监管指导.

主要成果:

• 在评估的LLMs中,GPT-4 Turbo表现最高.
• 在33.9%的时间里,GPT-4 Turbo提供了正确的响应,并提供了额外的有用信息,在35.7%的时间里,完全正确的响应.
• 在89.2%的案例中,RAG应用程序成功引用了正确的源文件.

结论:

• 生成型人工智能应用程序可以加快从FDA指导文件中检索信息.
• 错误信息的风险需要进一步改进人工智能模型,才能在关键药物开发决策中得到广泛采用.
• 快速的工程和参数调整可能会提高AI产生的响应的准确性和完整性.