中規模でオープンソースの大型言語モデルの評価:精密腫瘍学的ケア提供の文脈における意思決定支援へ

科学分野:

• 医療における人工知能
• 臨床的意思決定支援システム

背景:

• 精密腫瘍学では 複雑な患者の最新知識が必要です
• 分子腫瘍ボード (MTB) のケースの準備は労働集約的です.
• 大型言語モデル (LLM) は,MTBの情報検索を簡素化する可能性を秘めています.

研究 の 目的:

• MTBの準備における臨床的な質問に対する中規模LLMの有用性を評価する.
• 機密データ処理のための消費者ハードウェアを使用するオンプレミスのLLMのパフォーマンスを評価する.

主な方法:

• 3つのLLMはベンチマークと推論能力に基づいて選択されました.
• 専門家はMTBに関する質問の例を提示しました.
• 専門家は,LLMによって生成された回答の品質と正確さを評価しました.

主要な成果:

• 全体的にLLMの業績は控えめで,重要な問題も特定されました.
• 回答の多くには 時代遅れ,不完全,または事実上 誤った情報が含まれています.
• 評価器の不一致と異なる信頼レベルが観察されました.

結論:

• 中規模LLMは現在,精密腫瘍学アプリケーションでは信頼できない.
• 時代遅れの情報や 信頼性の高い誤った情報は 基準と現実の業績の格差を強調しています
• 将来の研究はRAGやウェブ検索のような先進的な技術を探求し,患者の安全を優先すべきである.