LLM の実習放射線検査の成績の比較分析

科学分野:

• 医療教育における人工知能
• 放射線検査の認定試験
• 自然言語処理

背景:

• 人工知能 (AI) と大型言語モデル (LLM) の様々な専門分野への統合が拡大しているため,専門分野におけるそのパフォーマンスの評価が必要となっている.
• 医学教育におけるLLMの能力,特に高リスクの認定試験の評価は,その可能性と限界を理解するために不可欠です.

研究 の 目的:

• 5つの主要な大型言語モデル (LLM) の実習放射線認証試験のパフォーマンスを比較する.
• どのLLMが最も正確かを特定し,異なるコンテンツカテゴリーのパフォーマンスを分析します.

主な方法:

• 実験的でない探索的な研究は,練習用X線写真認定試験の200の選択式質問を用いて行われました.
• 5つのLLM (ChatGPT,Claude,Copilot,Gemini,Perplexity) は,これらの質問に対する答えの正確さに基づいて評価されました.
• マクネマーのテストを含む統計的分析を用いて,精度における有意な差異を特定し,内容カテゴリーおよびサブカテゴリーによるパフォーマンスも分解した.

主要な成果:

• ChatGPTは,クロードとジェミニを大幅に上回る 83.5%の全体的な精度を達成しました.
• ChatGPTは患者のケアに関する質問にすべて正しく回答し,安全性や手順に関する優れたパフォーマンスを示しました.
• コピロットは画像生成において最も高い精度を示し,チャットGPTは8つのサブカテゴリのうち4つでリードしました.

結論:

• チャットGPTは,評価された実践放射線認証試験の質問で最も正確な大きな言語モデルでした.
• 優れた性能にもかかわらず,ユーザーは誤った情報を生成する可能性があるため,すべての応答の正確性を確認し,生成AIに注意を払わなければならない.
• 将来の研究では,MRI,核医学,放射線治療,超音波検査などの他の医療イメージングの試験におけるLLMのパフォーマンスを調査する必要があります.