通过检索增强生成在眼科中推进问答:对开源和专有大型语言模型进行基准测试

科学领域:

• 人工智能的人工智能
• 医疗信息学 医疗信息学
• 眼科医生 眼科 眼科

背景情况:

• 大型语言模型 (LLM) 在医学问答方面表现有前途.
• 评估LLM在眼科等专业领域的表现至关重要.
• 检索增强生成 (RAG) 将信息检索与文本生成相结合,以提高LLM的准确性.

研究的目的:

• 用RAG.使用眼科问答来比较开源和专有LLM.
• 通过不同的模型评估RAG对LLM绩效的影响.
• 评估模型量化对效率的有效性.

主要方法:

• 使用了来自AAO BCSC和OphthoQuestions的260个多选眼科问题的数据集.
• 实现了一个RAG管道,使用ChromaDB进行检索和Cohere进行重新排名.
• GPT-4-turbo,Llama-3-70B,Gemma-2-27B和Mixtral-8 × 7B使用零射击,零射击-CoT和RAG进行了基准测试.
• 量化被应用到开源模型来测量效率效应.

主要成果:

• 在RAG中,GPT-4-turbo的精度提高了10.96-11.54%和开源模型 (Llama-3,Gemma-2,Mixtral) 的精度提高了17.11-23.85%.
• 零射击CoT并没有显著改善模型性能.
• 4位量子化与8位一样有效,同时减少了资源需求的一半.

结论:

• RAG显著提高了LLM的准确性,特别是在较小的开源模型中.
• 在医院等资源有限的环境中,RAG可以实现保护隐私,高效的LLM部署.
• 这种方法为专业医疗应用提供了基于云的LLM的可行替代方案.