CTおよびMRI放射線学のGPT-4oと特化した大型言語モデルの比較 報告書要約

科学分野:

• 放射線科
• 人工知能
• 自然言語処理

背景:

• GPT-4oのような汎用的な大型言語モデル (LLM) は,放射線学における可能性を示しています.
• 専門的なLLMと一般目的のLLMの放射線報告要約の比較性能はよく確立されていません.

研究 の 目的:

• 専門のLLM (LLM-RadSum) と放射線報告のGPT-4oの要約性能を比較する.
• 作成された要約の事実上の一貫性,一貫性,安全性,および臨床的有用性を評価する.

主な方法:

• LLM-RadSumは,病院の過去データセット (トレーニング/内部テストセット) を使用して開発されました.
• 内部および外部テストセットで評価されたF1スコア (CT/MRI報告).
• LLM-RadSumとGPT-4oの出力を,事実的一貫性や臨床安全性などの基準を用いて比較した1800件の報告をヒトで評価した.

主要な成果:

• LLM-RadSumは,GPT-4o (0. 30; P < . 001) と比較して,ヒトの評価でより高いF1スコア (0. 58) を獲得しました.
• LLM-RadSumの出力の81.5%以上が専門家基準を満たし,GPT-4oの出力の27.8%は調整が必要でした.
• LLM-RadSumは,様々な様式,解剖学的な領域,患者の人口統計学において優れたパフォーマンスを示しました.

結論:

• 専門のLLM (LLM-RadSum) は,放射線報告の要約において,一般目的のGPT-4oを大幅に上回ります.
• LLM-RadSumは,より事実的に一貫した,一貫した,安全な,臨床的に有用な要約を提供します.
• 専門的なLLMは,放射線報告の要約のような特定の医療NLPのタスクにより効果的です.