放射学ガイドラインのための回収強化生成システムの開発と評価

科学分野:

• 医療における人工知能
• クリニカル・インフォマティックス
• 医療決定支援医療決定支援

背景:

• 大型言語モデル (LLM) は,医療情報の処理には有望ですが,臨床意思決定のための信頼性や最新の知識が不足しています.
• 放射線学のような時間敏感な分野では,最適な患者ケアのための正確で最新のガイドラインへの迅速なアクセスが必要です.
• マニュアルガイドラインの検索は非効率で,早期の臨床適用を妨げています.

研究 の 目的:

• LLMの回答を欧州泌尿器系放射線学会 (ESUR) のガイドラインに基づけるため,リトリーバルの拡張生成 (RAG) システムを開発および評価する.
• 権威ある医学ガイドラインに基づいて,LLMによって生成された情報の正確性,完全性,および臨床的有用性を向上させる.

主な方法:

• ヘッドラインベースの区切りと,情報抽出と検索のためのall-mpnet-base-v2埋め込みモデルを使用してRAGシステムを開発しました.
• 79のクエリを使用して,スタンドアロンLLMと強化された繰り返しRAGシステムとの比較でRAGシステムを評価しました.
• 検索の正確性,事実的正確性,完全性,臨床的有用性に基づいてパフォーマンスを評価します.

主要な成果:

• 両方のRAGシステムは,評価されたすべての指標において,スタンドアロンLLMを大幅に上回った.
• 強化されたRAGシステムは,事実の正確性 (0.89),完全性 (4.20/5),有用性 (3.99/5) で最高スコアを達成しました.
• 強化されたRAGでは,標準版と比較して軽微で有意でない改善が観察されました.

結論:

• 接地されたRAGシステムは,医療環境における臨床ガイドラインのアクセシビリティと信頼性を向上させる大きな可能性を示しています.
• 臨床展開には,ドメイン固有の埋め込みとクエリ拡張を含む,さらなる検証と精錬が必要である.
• この研究は,臨床応用における信頼性の欠如と幻覚を軽減するために,LLMを権威ある情報源に拠点を置くことの重要性を強調しています.