使用日本机构核医学手册和大型语言模型自动化评分的检索增强生成系统的评估

科学领域:

• 人工智能在医学中的应用
• 医疗信息学 医疗信息学
• 核医学 技术 技术 核医学

背景情况:

• 大型语言模型 (LLM) 显示出对特定领域问题的答案有希望.
• 更新LLM以快速发展的,机构特定的医疗信息,如核医学协议,仍然存在挑战.
• 现有的系统在不同医疗保健机构的检查指南的动态性质中扎.

研究的目的:

• 开发和评估用于核医学问题解答的检索增强生成 (RAG) 系统.
• 将特定机构的考试手册整合到LLM框架中.
• 评估不同LLM和检索策略的性能,以确定其准确性和相关性.

主要方法:

• 开发了一个RAG系统,使用来自日本一家医院的40个内部核医学手册.
• 实施了混合检索策略,结合了密集的矢量搜索 (文本嵌入-3-small) 和稀疏的关键字搜索 (BM25).
• 使用GPT-3.5和GPT-4o通过API生成响应,由技术专家和RAGAS指标评估.

主要成果:

• 根据专家评估,GPT-4o模型与混合检索相结合实现了最高的性能.
• RAGAS指标在系统配置中表现出一致的排名,与专家评分有适度的相关性.
• 像ROUGE和Levenshtein距离这样的传统指标显示与人类评级的调整很差.

结论:

• 将特定机构的手册整合到RAG框架中,有效地支持在核医学中回答特定领域的问题.
• 基于LLM的评估工具,如RAGAS,可以在开发医疗保健AI时补充专家评价.
• 这种方法增强了人工智能在管理动态医疗信息方面的实际应用.