半構造冠動脈CT血管検査報告書から抽出するCAD-RADS 2.0の大型言語モデル:多機関研究

科学分野:

• 医療情報工学
• 放射線学における人工知能
• 心血管イメージング

背景:

• 冠動脈CT血管図 (CCTA) レポートには冠動脈疾患 (CAD) の診断に不可欠なデータが含まれています.
• 冠動脈疾患報告およびデータシステム (CAD-RADS) は,CCTAの発見に関する報告を標準化しています.
• CAD-RADSコンポーネントの自動抽出は,ワークフローを簡素化し,データの一貫性を改善することができます.

研究 の 目的:

• CCTAのレポートからCAD-RADS 2.0のコンポーネントを抽出する際の様々な大型言語モデル (LLM) の正確性を評価する.
• 思考の連鎖 (CoT) を含む様々な誘導戦略がLLMのパフォーマンスに与える影響を評価する.
• 複数のLLMのパフォーマンスを多機関データセットで比較する.

主な方法:

• 319の合成された,半構造化されたCCTAのデータセットが策定されました.
• CAD-RADS 2.0のコンポーネント (狭窄症の重症度,プラークの負担,修正剤) の基準は,認定放射線科医によって確立されました.
• 6つのLLMは,ゼロショット,少数のショット,CoT誘導戦略を使用して評価されました.
• 統計的比較のためのマクネマールのテストを用いて精度が測定された.

主要な成果:

• LLMは,すべてのCAD- RADS 2.0コンポーネントの抽出において高い精度を示し,ピークの狭窄度精度は0. 980 (内部) と0. 946 (外部) までであった.
• プラーク負荷抽出は,ほぼ完璧な精度 (外部で0. 993まで) を達成し,修正剤検出は一貫して高かった (≥0. 990).
• 思考の連鎖 (Chain-of-thought, CoT) は,いくつかのモデル,特にGPT-4の精度が0.192まで大幅に改善されました.

結論:

• 大規模な言語モデルは,CCTAのレポートからCAD-RADS 2.0コンポーネントの抽出を正確に自動化するための大きな可能性を示している.
• 思考の連鎖の誘導は,このタスクにおけるLLMのパフォーマンスを高めるための重要な戦略です.
• これらの発見は,効率の向上とデータの標準化のために,LLMを放射線学的ワークフローに統合することを支持しています.