病院でオープンソースのLLMを使用してローカルドキュメントの検索のための区切りと埋め込み戦略の評価

科学分野:

• 自然言語処理
• 情報の検索
• 人工知能

背景:

• 検索拡張生成 (RAG) は,文脈認識と追跡可能な情報へのアクセスを強化します.
• 領域特有のRAGシステムには,最適のパフォーマンスを実現するために,適した戦略が必要です.
• この研究は,ハーレ大学病院の行政文書のRAGに焦点を当てています.

研究 の 目的:

• RAGベースの質問応答システムのためのチャングリングと埋め込み戦略を探求する.
• モデルの選択,パラメータのチューニング,および検索パフォーマンスを評価する.
• 病院スタッフが文書にアクセスできるようにする RAG チャットボットの基礎を築く

主な方法:

• 1,219件の行政文書を 予め処理し,分割した.
• 類似度スコアと最大限界関連性 (MMR) を用いた8つの埋め込みモデルを評価した.
• トップモデル (Jinaai-v3,Aari1995) を分析し,さまざまなパラメータとアンサンブルリトリーバーを使用した.

主要な成果:

• Aari1995は92.3%のトップ10のスコアを達成し,安定したパフォーマンスを示しました.
• Jinaai- v3はトップ5 (84. 6%) とトップ3 (76. 9%) のスコアで優れていたが,より安定していた.
• アンサンブル・リトリーバーは品質を改善し,Jinaai-v3はベクトルストア生成を高速に提供し,Similarity ScoreはMMRを上回った.

結論:

• 断片化と埋め込みは,RAGの検索効率に大きく影響します.
• Jinaai-v3とAari1995は,安定性,正確性,効率性の異なるトレードオフを提供しています.
• 発見は,ローカルに実行可能なRAGシステムをサポートし,将来のパラメータ最適化を導く.