在医院使用开源LLM进行本地文档检索的分类和嵌入策略的评估
Jan Bossenz1, Carlo Günzl1, Fabian Berns2
1Junior Research Group (Bio-) Medical Data Science, Faculty of Medicine, Martin-Luther-University Halle-Wittenberg, Halle (Saale), Germany.
优化块化和嵌入对于特定领域的提取增强生成 (RAG) 系统至关重要. Aari1995和Jinaai-v3模型在医院行政文件检索的准确性和效率方面具有不同的优势.
科学领域:
- 自然语言处理
- 获取信息
- 人工智能
背景情况:
- 搜索增强生成 (RAG) 增强了对上下文和可追溯信息的访问.
- 特定领域的RAG系统需要量身定制的策略来实现最佳性能.
- 这项研究重点是哈勒大学医院的行政文件RAG.
研究的目的:
- 探索基于RAG的问答系统的分割和嵌入策略.
- 评估模型选择,参数调整和检索性能.
- 建立一个RAG聊天机器人,帮助医院工作人员获取文件.
主要方法:
- 预先处理并分成1219份行政文件.
- 使用相似度得分和最大边际相关性 (MMR) 检索器评估了八种嵌入模型.
- 分析了各种参数和组合回收者的顶级模型 (Jinaai-v3,Aari1995).
主要成果:
- Aari1995获得了92.3%的前10名,表现稳定.
- Jinaai-v3在Top5 (84. 6%) 和Top3 (76. 9%) 分数中表现出色,但不太稳定.
- 集体检索器提高了质量;Jinaai-v3提供了更快的矢量存储生成;相似性得分优于MMR.
结论:
- 分类和嵌入对RAG检索的有效性有重大影响.
- Jinaai-v3和Aari1995在稳定性,准确性和效率方面提供了明显的权衡.
- 结果支持本地可执行的RAG系统,指导未来的参数优化.
更多相关视频
07:50A Metadata Extraction Approach for Clinical Case Reports to Enable Advanced Understanding of Biomedical Concepts
Published on: September 20, 2018
05:47Evidence-based Knowledge Synthesis and Hypothesis Validation: Navigating Biomedical Knowledge Bases via Explainable AI and Agentic Systems
Published on: June 13, 2025
相关概念视频
Chunking
The principle behind chunking...
Documentation in Long-Term and Home Healthcare Setting
Long-Term Care Facilities
Methods of Documentation VII: EMR
Local Anesthetics: Clinical Application as Epidural Anesthesia
Since epidural anesthetics can be infused through an epidural catheter, all types of drugs, including short-acting ones, can be administered. Chloroprocaine and lidocaine are examples of short and long-duration anesthetics, respectively. Bupivacaine...
Local Anesthetics: Clinical Application as Spinal Anesthesia
Hospitals-II
Nurses that work in...
