检索增强生成用于使用大型语言模型解释临床实验室法规

科学领域:

• 医疗信息学 医疗信息学
• 医疗保健中的人工智能
• 监管科学 监管科学

背景情况:

• 大型语言模型 (LLM) 在一般知识方面表现出色,但在专业领域的准确性却很难.
• 检索增强生成 (RAG) 通过在特定源文档中将输出接地,提高了LLM的准确性.
• 在实验室医学等关键领域的问答系统中,准确性和一致性至关重要.

研究的目的:

• 开发和评估Raven,一个定制的RAG系统,用于回答实验室监管问题.
• 用联邦法规 (CFR) 作为权威来源来评估雷文的准确性和可靠性.
• 确定RAG系统作为医疗保健中的决策支持工具的潜力.

主要方法:

• 开发了Raven,一个RAG系统,集成了矢量搜索管道和LLM.
• 利用42 CFR第493部分 (实验室法规) 作为雷文的知识库.
• 用103个合成监管问题测试雷文,将其答案与经过董事会认证的病理学家的答案进行比较.

主要成果:

• 雷文在CFR中明确解决的问题上获得了92.0%的完整和正确答案.
• 低于最佳的反应主要是由于检索问题,而不是LLM幻觉.
• 对于CFR范围之外的问题,性能下降,验证了系统的接地.

结论:

• 基本的RAG系统可以为复杂的监管问题提供准确,可验证的答案.
• 雷文证明了作为实验室监管调查的决策支持系统的实用性.
• 随着适当的集成,RAG工具对知识密集型医疗保健领域具有前景.