解决儿科临床病例的人工智能:利用Llama3.2和结构化引用的检索增强方法

科学领域:

• 人工智能在医学中的应用
• 临床决策支持系统 临床决策支持系统
• 儿科信息学 儿科信息学

背景情况:

• 大型语言模型 (LLM) 呈现"幻觉",影响其在儿科护理中的可靠性.
• 在复杂的儿科临床场景中,LLM的准确性是一个重大问题.
• 提高儿科应用的LLM性能需要强大的信息整合.

研究的目的:

• 评估回收增强生成 (RAG) 系统在改善儿科临床病例LLM性能方面的有效性.
• 评估纳入纳尔逊儿科教科书是否提高了Llama3.2的准确性.
• 确定RAG对解决复杂儿科临床场景的影响.

主要方法:

• 评估RAG系统的性能,使用MedQA和ADC-EP数据集中的1,713个多选题儿科临床问题.
• 在独立模式和RAG集成模式中比较Llama3.2性能.
• 使用奇平方测试来比较准确率的百分比,p < 0.05被认为是显著的.

主要成果:

• 与RAG集成的系统实现了67.78%的准确性,明显优于独立的Llama3.2 (46.18%).
• 统计分析显示,随着RAG整合,RAG显著改善 (p = 1.5e-112).
• 在所有儿科子专业中,准确度的提高是一致的.

结论:

• 检索增强生成 (RAG) 系统在儿科临床环境中明显提高了LLM准确性.
• 通过RAG整合专业医学知识,比如尼尔森儿科教科书,提高了LLM的可靠性.
• RAG系统提供了一种有前途的方法,可以提高人工智能驱动的儿科临床决策的安全性和可靠性.