提高大型语言模型可靠性:根据最新的糖尿病指南,通过双重检索增强生成来最大限度地减少幻觉

科学领域:

• 人工智能在医学中的应用
• 医疗信息学 医疗信息学
• 自然语言处理自然语言处理.

背景情况:

• 大型语言模型 (LLM) 在医疗保健中显示出潜力,但在准确性 (幻觉) 方面存在困难,特别是在诸如糖尿病管理等动态领域.
• 现有的LLM更新方法资源密集,因此需要有效的方式来提供当前的医疗信息.
• 确保人工智能产生的医疗内容的可靠性和最新性对于安全的临床应用至关重要.

研究的目的:

• 开发和评估一种新的检索系统,以提高大语言模型 (LLM) 在糖尿病管理中的可靠性.
• 创建一个能够整合和利用来自不同国际准则的信息的双重检索增强生成 (RAG) 系统.
• 评估系统在不同语言中的性能,并确定最佳的检索策略以提高准确性.

主要方法:

• 开发了一种双重检索增强生成 (RAG) 系统,整合了韩国糖尿病协会和美国糖尿病协会2023年指南.
• 该系统使用了11个嵌入模式 (包括OpenAI,Upstage和多语言选项) 的密集检索和通过BM25算法与特定语言的标记器进行稀疏检索.
• 用各种top-k值来评估性能,以优化每个指导方针的ensemble retriever,重点关注韩语和英语文本.

主要成果:

• 对于密集的检索,Upstage的太阳嵌入-1-大和OpenAI的文本嵌入-3大分别在韩语和英语中表现出色;多语言模型优于特定语言的模型.
• 在韩语稀疏检索方面,ko_kiwi标记器表现优异,而ko_kiwi和porter_stemmer在英语中表现相似.
• 优化集体检索器,结合密集和稀疏的方法,提高了信息覆盖率,同时保持精度.

结论:

• 双重RAG系统有效地提高了跨语言糖尿病管理信息的LLM可靠性.
• 该系统与韩国和美国指南的成功应用证明了其跨区域的实用性.
• 这项工作为在不同的全球环境中开发更可靠的人工智能辅助医疗保健应用提供了基础.