从指导方针到实时对话:专家验证的检索增强和微调的GPT-4用于C型肝炎管理

科学领域:

• 人工智能在医学中的应用
• 医疗保健的自然语言处理.
• 慢性疾病管理技术 慢性疾病管理技术

背景情况:

• 大型语言模型 (LLM) 显示了增强慢性疾病管理的潜力,特别是在C型肝炎病毒 (HCV) 感染方面.
• 评估人工智能技术,如检索增强生成 (RAG) 和监督微调 (SFT),对于其临床应用至关重要.

研究的目的:

• 评估RAG和SFT对LLM在HCV管理中的表现的影响.
• 为了评估LLM在开放式问题的准确性和清晰性.
• 确定LLM在推适合HCV临床情景的治疗方案方面的有效性.

主要方法:

• 使用了基线,RAG-Top1,RAG-Top10和SFT配置的GPT-4轮机.
• 采用了2020年EASL HCV指南,用于外部知识和微调.
• 评估了LLM对15个专家审核问题的答案,以确保准确性和清晰度.
• 在25个模拟的临床场景中对专家共识进行了评估,对DAA治疗方案的建议进行了评估.

主要成果:

• 在回答问题方面,RAG-Top10显著提高了准确度 (91.7%) 和清晰度 (91.7%),相比起基线 (36.6%的准确度,46.6%的清晰度).
• 证券交易所也提高了性能,达到71.7%的准确性和88.3%的清晰度.
• 在推正确的DAA疗法方面,RAG-Top10取得了最高的表现 (76%与基线的24%相比).

结论:

• 无论是RAG还是SFT,都大大提高了LLM在指导方针驱动的HCV管理方面的能力.
• 由于更广泛的上下文检索,RAG-Top10提供了最大的好处.
• 通过SFT对特定领域的调整是有价值的,强调需要专家知情的评估框架,以确保安全的LLM集成.