放射線学における大規模な言語モデルの評価 体系的なレビュー タイトルと抽象的なスクリーニング

科学分野:

• 医療研究における人工知能
• 放射線学的体系的レビュー
• 自然言語処理アプリケーション

背景:

• 放射線学のエビデンス・シンセシスには 体系的なレビューが不可欠です
• 大規模な言語モデル (LLM) でタイトルと抽象のスクリーニングを自動化することで,効率が向上します.
• この文脈でLLMのパフォーマンス,安定性,意思決定を評価することは不可欠です.

研究 の 目的:

• 放射線学的体系的なレビュースクリーニングのための様々なLLMの性能,安定性,意思決定を評価する.
• LLMの精度に対するプロンプトフレームと信頼性校正の影響を調査する.
• 意見の相違に直面したときにLLMの堅実性を評価し,自律的な検索機能を探求する.

主な方法:

• 5つのLLM (GPT-4o,GPT-4o mini,Gemini 1.5 Pro,Gemini 2.0 Flash,Llama 3.3 70B) は2つの放射線学的体系的なレビューで比較されました.
• バイナリー/テナリー分類,信頼スコア,不一致の再分類が含まれる.
• 自律的なPubMed検索は,OpenAIとGemini Deep Researchツールを用いて試験的に行われました.

主要な成果:

• LLMは高特異性だが,F1スコアが0. 389から0. 854まで変化する.
• 三次分類では,控えめな控えめな控えめな控えめな控えめな控えめな控えめな控えめな控えめ
• モデルには権威のバイアスがあり 意見の相違で人間のラベルを好むが GPT-4oはより抵抗を示した.

結論:

• LLMは放射線学におけるシステマティック・レビュー・スクリーニングの可能性を示しています.
• 信頼性の高いLLMアプリケーションには,注意深く迅速なエンジニアリングと人間による監視が不可欠です.
• LLMの統合を最適化し,意思決定のバイアスを解決するためにさらなる研究が必要です.