开发和评估一个检索增强后代聊天机器人用于骨科和创伤外科手术患者教育:混合方法研究
David Baur1, Jörg Ansorg2, Christoph-Eckhard Heyde1
1Department for Orthopedics, Trauma and Plastic Surgery, University Hospital Leipzig, Liebigstraße 20, Leipzig, Saxony, 04103, Germany, 49 3419723000, 49 3419723009.
JMIR AI
|October 24, 2025
概括
一个新的搜索增强代 (RAG) 聊天机器人以德语提供准确,基于证据的骨科信息. 这种RAG系统通过将大型语言模型与可靠的文档检索相结合,提高了患者教育,以改善医疗保健.
科学领域:
- 医疗信息学 医疗信息学
- 医疗保健中的人工智能
- 整形外科手术 整形外科手术
背景情况:
- 大型语言模型 (LLM) 在医疗保健方面表现有前途,但在事实准确性和来源可追溯性方面面临挑战.
- 检索增强生成 (RAG) 通过整合文档检索来提高LLM准确性.
- 骨科患者教育中的RAG应用,特别是非英语语境中的应用,尚未得到充分研究.
研究的目的:
- 开发和评估一款德语RAG聊天机器人,用于骨科患者教育.
- 评估聊天机器人的准确性,精度,来源对齐,用户满意度和可信度.
- 提供基于证据的有关常见骨科疾病的信息.
主要方法:
- 使用OpenAI的GPT和Qdrant矢量数据库开发了一个RAG聊天机器人.
- 使用了899份德国骨科文件,包括指导方针和患者信息.
- 对30名参与者进行了人体验证,并使用回增强代评估量表进行了自动评估.
主要成果:
- 人类评级显示高感知精度 (4.55/5),帮助力 (4.61/5),以及易用性 (4.90/5).
- 自动化评估证实了在答案相关性 (0.864),上下文精度 (0.891) 和可信度 (0.853) 方面强大的技术性能.
- 膝盖和背部疾病的表现最高,与部相关的查询的准确性较低.
结论:
- 该RAG聊天机器人有效地提供了德语的骨科患者教育.
- 在Orthinform平台上超过9500次现实互动表明了相关性和接受度.
- 未来的工作应该加强域覆盖,检索精度,并整合先进的RAG技术,以提高安全性.
