医学LLM:微调与检索增强生成

科学领域:

• 人工智能的人工智能
• 医疗信息学 医疗信息学
• 自然语言处理自然语言处理.

背景情况:

• 大型语言模型 (LLM) 拥有广泛的知识,但缺乏专门的专业知识.
• 通过有针对性的培训方法,可以提高特定领域的LLM绩效.
• 医疗保健应用需要专门的LLM,能够准确可靠地检索和生成信息.

研究的目的:

• 评估检索增强生成 (RAG) 和微调 (FT) 对五种不同的大型语言模型的医疗保健数据的有效性.
• 为了比较单独使用RAG,单独使用FT和结合使用FT+RAG的方法的性能.
• 确定哪些模型和培训策略为专门的医疗保健应用提供了优异的结果.

主要方法:

• 五个大型语言模型 (LLama-3.1-8B,Gemma-2-9B,Mistral-7B-Instruct,Qwen2.5-7B,Phi-3.5-Mini-Instruct) 在MedQuAD数据集上进行了微调.
• 模型使用三个方法进行训练:仅检索增强生成 (RAG),仅微调 (FT),以及两者的组合 (FT+RAG).
• 在多个指标上评估性能,以评估特定领域的准确性和能力.

主要成果:

• 在大多数评估模型中,检索增强生成 (RAG) 和组合微调 (FT+RAG) 始终优于单独微调 (FT).
• LLAMA和PHI模型表现出卓越的性能,LLAMA显示出整体卓越性,PHI在RAG/FT+RAG能力方面表现出色.
• QWEN模型在性能方面普遍落后,而GEMMA和MISTRAL则根据培训方法表现出不同的结果.

结论:

• 专门的培训方法,特别是RAG和FT+RAG,对于提高LLM在医疗保健等利基领域的绩效至关重要.
• 选择LLM架构显著影响不同培训策略的有效性.
• 对优化这些培训方法的进一步研究可以为AI在医疗信息系统中发挥更大的潜力.