Livertoxのデータを用いて,薬物誘発性肝損傷のためのリトリーバル・アグメントド・ジェネレーションベースの大型言語モデルの開発

科学分野:

• バイオメディカル・インフォマティクス
• 医療における人工知能
• 臨床的意思決定支援システム

背景:

• Idiosyncratic drug-induced liver injury (DILI) は,正確な意思決定支援を必要とする重要な臨床的課題を提示しています.
• LiverToxのような既存のリソースは包括的ですが,ポイント・オブ・ケアで使用するために最適化されていません.
• 一般的な大型言語モデル (LLM) は,潜在的な幻覚や誤情報による安全リスクをもたらす.

研究 の 目的:

• DILIの情報検索のためのLLMの精度を向上させるためのリトリーヴ・アグメンテッド・ジェネレーション (RAG) の有効性を評価する.
• RAGの統合がLLMの幻覚を軽減し,臨床的意思決定支援を改善できるかどうかを判断する.
• LiverToxデータを使用して,RAG-LLMとRAG以外のLLMのパフォーマンスを評価する.

主な方法:

• BioBERTの埋め込みを使用して,1343のLiverToxの薬物モノグラフを8759のインデックスされたセグメントに処理しました.
• 薬剤特異の優先順位付け,セクション意識の加重,意味検索を伴うRAGパイプラインを開発しました.
• 4つのRAG-LLM (Mistral-7B,Claude-3-Haiku,Claude-3-Opus,GPT-4o) と2つのRAG以外のGPT-4oのバリエーションで25のDILI質問を評価しました.
• ヘパトロジストは,リカートスケールを使用して,正確さ,完全性,簡潔性に関する回答を評価しました.

主要な成果:

• RAG-LLMは,正確性 (p<0.001) と完全性 (p<0.01) でRAG以外のGPT-4oの変種を大幅に上回りました.
• GPT-4o (RAG) は,全体として最高スコア (4.47±0.10) を獲得しました.
• RAG-LLMのアウトプットでは幻覚は観察されなかったが,RAG以外の変種ではいくつかの幻覚反応が生じた.

結論:

• LiverToxと統合されたRAG-LLMは,エビデンスベースのDILI管理サポートを提供します.
• RAG-LLMシステムは,RAG以外のバージョンと比較して優れた性能と信頼性を実証しました.
• 開発されたLiverTox RAG-LLMは,薬剤の肝毒性に関する信頼できるポイント・オブ・ケア回答のためのツールを提供します.