人工知能はテストに合格できるのか? チャットボットのスコアを評価する小児胃腸内科のボードスタイルの質問

科学分野:

• 医療教育 医療教育について
• 医療における人工知能
• 小児胃腸内科 小児胃腸内科

背景:

• アメリカ小児科アカデミー (AAP) 小児科レビューと教育プログラム (PREP) ® 胃腸内科 (GI) 自己評価は,小児科胃腸内科医とサブスペシャリティー試験の準備をしている研修生にとって非常に重要です.
• AIチャットボットは,一般的な医療委員会試験で成功を収めているが,小児の専門的なGI委員会試験でのパフォーマンスは未評価のままである.

研究 の 目的:

• Microsoft Copilot,OpenAI ChatGPT-3.5,およびChatGPT-4oのパフォーマンスを2022-2024 AAP PREP® GI自己評価で評価するために.
• 現在のAIチャットボットが小児胃腸内科のサブスペシャリティー試験に合格する可能性を判断する.

主な方法:

• AAP PREP® GI 自己評価の質問は,2022年から2024年にかけて合計216件使用されました.
• 質問は3つのAIチャットボット,Microsoft Copilot,OpenAI ChatGPT-3.5,およびChatGPT-4oに入力されました.
• テストの成績は,既定の合格点数 (>65%) に基づいて評価され,初回受験者のスコアと比較されました.

主要な成果:

• OpenAI ChatGPT-4oとMicrosoft Copilotは,評価の3年間すべてで65%以上のスコアを達成しました.
• OpenAI ChatGPT-3.5は2023年と2024年の評価に合格したが,2022年の評価に失敗した.
• AIのチャットボットは,解剖学,運動性,口腔/食道疾患で最強のパフォーマンスを示したが,生理学,薬理学,肝臓/胃/十二支管疾患で弱点を示した.

結論:

• 先進的なAIチャットボット,特にOpenAI ChatGPT-4oとMicrosoft Copilotは,小児のGI自己評価において一貫した成功を示しています.
• これらの発見は,高度なAIチャットボットが,小児胃腸内科の試験で良好なパフォーマンスを発揮する能力を有することを示唆しています.
• OpenAI ChatGPT-3.5には限界があり,異なるAIモデル間のパフォーマンスの変動性を強調しています.