对于临床决策支持的大型语言模型中检索增强生成的高级分片的比较评估

科学领域:

• 自然语言处理自然语言处理.
• 医疗信息学 医疗信息学

背景情况:

• 检索增强生成 (RAG) 质量对文档细分非常敏感.
• 固定长度块可以通过分割概念或引入噪音来降低RAG性能.

研究的目的:

• 评估命题,语义和自适应块化策略是否提高RAG的准确性和相关性,以支持临床决策.
• 将这些策略与固定长度基线进行比较.

主要方法:

• 通过使用临床知识库和Gemini 1.0 Pro开发了四个RAG管道,仅在块化策略 (适应性,命题,语义,固定长度) 上有所不同.
• 对每个管道提出了30个术后鼻整形问题.
• 测量结果包括医学准确性,临床相关性和检索指标 (精度,回忆,F1).

主要成果:

• 适应性分块产生了最高的准确度 (87%) 和相关性 (93%),明显超过了基线 (50%的准确性,68%的相关性;p=0.001).
• 与基线 (0.17,0.40,0.24) 相比,自适应块化也实现了优异的检索指标 (精度0.50,回忆0.88,F1 0.64).
• 比起基线,命题和语义块改进了指标,但效果不如自适应块.

结论:

• 将文本块与逻辑主题边界对齐,特别是通过自适应块,大大提高了RAG的准确性和相关性.
• 这种方法提供了一个模型不可知的方法来提高基于LLM的临床决策支持的安全性和实用性,而不会改变语言模型.