リトリーヴ・アグメントされた大型言語モデルのための適応的なイテラティブ・セルフ・クエリ・リトリーヴによる臨床的意思決定支援の強化

科学分野:

• 医療における人工知能
• 臨床的意思決定支援システム
• 自然言語処理

背景:

• 大型言語モデル (LLM) を用いたリトリーバル・アグメントド・ジェネレーション (RAG) は,臨床指針の可能性を示しているが,クエリ品質によって制限されている.
• 医者の認知の負荷は AI によって軽減できますが 正確で構造的な情報検索が必要です
• 現在のRAGシステムは,非構造的または曖昧な臨床クエリに苦しんでおり,信頼性に影響を与えています.

研究 の 目的:

• 臨床的な質問の明確性と構造を高めるためのSelf-Query Retrieval (SQR) フレームワークを導入し評価する.
• LLMで作成された臨床ガイドラインの正確性,関連性,検索品質を向上させる.
• SQRの枠組み内の自動化されたクエリ精製モジュール (PICOT,SPICE,IQR) の有効性を評価する.

主な方法:

• PICOT,SPICE,Iterative Query Refinement (IQR) モジュールを統合したアダプティブSQRフレームワークを開発した.
• Gemini-1.0 Pro LLMでSQRを実装し,手術後の鼻整形手術の30件をベンチマークしました.
• レスポンス精度と関連性は,ライカートスケールと検索メトリック (精度,リコール,F1スコア) を使用して評価されます.

主要な成果:

• 完全なSQRパイプラインは87%の精度と100%の関連性を達成し,未精製のRAGベースライン (50%の精度,80%の関連性) を大幅に上回りました.
• SQRは精度,リコール,F1スコアをそれぞれ0.17,0.39,0.24から0.53,1.00,0.70に改善しました.
• PICOT専用のモジュールとSPICE専用のモジュールは中間改善を示し,完全なパイプラインの利点を強調しました.

結論:

• 自動化されたクエリ構造とSQRによる反復的な精錬は,LLMベースの臨床意思決定サポートを大幅に強化します.
• SQRのフレームワークは,臨床ガイドラインの正確性と関連性において顕著な改善を示しています.
• SQRのモデルアグノスティックな設計は,医療専門分野とデータソースにわたって広範な適用を可能にします.