胃机器人:一个基于提取增强代的中国胃肠疾病聊天机器人
Qingqing Zhou1, Can Liu1, Yuchen Duan1
1School of Medical Information Engineering, Anhui University of Chinese Medicine, Hefei, China.
Frontiers in medicine
|June 6, 2024
概括
检索增强生成 (RAG) 通过改进大型语言模型 (LLM) 来增强临床胃肠病学. 基于RAG的聊天机器人GastroBot提供了准确的,与情境相关的关于胃肠道疾病的信息,减少了错误.
科学领域:
- 临床信息学 临床信息学
- 人工智能在医学中的应用
- 胃肠病学 胃肠病学
背景情况:
- 大型语言模型 (LLM) 对临床信息处理至关重要,但缺乏对医疗应用的优化,导致解释性和准确性问题.
- 提取增强生成 (RAG) 模型提供了一个解决方案,通过将人工智能响应建立在事实来源上,减少错误并提高可靠性.
研究的目的:
- 探索RAG技术在临床胃肠病学中的应用.
- 开发和评估基于RAG的聊天机器人,用于生成关于胃肠道疾病的知识.
主要方法:
- 微调了25个胃肠疾病指南的嵌入模型,比基准模型提高了18%的命中率.
- 开发了'GastroBot',一个使用RAG框架和 llama-index的中国胃肠病聊天机器人.
- 使用RAGAS框架对上下文回忆,忠实性和相关性进行评估.
主要成果:
- 微调的嵌入模型的性能比OpenAI的嵌入模型高出20%.
- GastroBot实现了95%的上下文回忆率,93.73%的忠实度和92.28%的相关性.
- 手动评估证实了GastroBot能够提供关于胃肠道疾病的有价值,完整和一致的知识.
结论:
- 综合RAG显著提高了临床胃肠病学LLMs的准确性和可靠性.
- GastroBot表现出更好的上下文理解和响应质量,为临床信息处理提供了一个实用的工具.
- 进一步开发RAG模型有望在胃肠病学临床决策支持方面取得进展.
