局部部署的上下文感知聊天机器人优于通用大型语言模型的指导方针一致的儿科成像建议

科学领域:

• 医疗成像中的人工智能
• 临床决策支持系统 临床决策支持系统
• 儿科放射学 儿科放射学

背景情况:

• 在儿科成像中精确的模式选择至关重要,但具有挑战性.
• 遵守美国放射学学院 (ACR) 适宜性标准往往是有限的.
• 大型语言模型 (LLM) 显示出决策支持的希望,但需要特定领域的准确性.

研究的目的:

• 为了评估本地运行,上下文意识的聊天机器人 (ped-Llama) 对儿科成像建议的性能.
• 根据ACR指南评估其准确性,并与其他LLM和人类专家进行比较.
• 确定检索增强生成 (RAG) 在提高医疗应用的LLM性能方面的实用性.

主要方法:

• 一项模拟研究使用了50个基于ACR指南变体的儿科临床场景.
• 使用Llama-3.1-8B的RAG方法的ped-Llama聊天机器人与通用LLM (Llama-3.1-8B,GPT-4o,Claude Opus) 和放射科医生进行了比较.
• 建议使用ACR标准进行分类,并分析了LLM输出的一致性.

主要成果:

• ped-Llama获得了80%的"通常适当"建议,超过了通用LLM和匹配专家放射科医生的表现.
• 包括"可能是适当的"建议,ped-Llama达到90%的准确性.
• 与通用LLM (44-50%) 相比,ped-Llama在多次运行中表现出更高的一致性 (72%).

结论:

• 在本地运行,使用开源LLM的RAG启用聊天机器人可以提供符合指导方针的儿科成像建议,精确度达到专家水平.
• 这表明了人工智能辅助的决策支持系统在放射学中的潜力.
• 这些系统为改善儿科成像临床决策提供了实用且可扩展的解决方案.