AI生成多肢選択問題のブルーム分類法による認知的深さの評価

科学分野:

• 医療教育
• 教育における人工知能
• 認知科学

背景:

• 大規模言語モデル（LLM）は、多肢選択問題（MCQ）を含む教育コンテンツの生成にますます使用されています。
• LLM生成MCQとブルーム分類法のような確立された教育フレームワークとの整合性は、十分に調査されていません。
• 本研究は、口腔および顎顔面解剖学における異なる認知レベルにわたるMCQを作成するLLMの能力を評価することに焦点を当てています。

研究 の 目的:

• 広く使用されている複数の大規模言語モデル（LLM）のブルーム分類法の認知レベルとの整合性を評価すること。
• 記憶、理解、応用、分析、評価/創造の各レベルにわたるMCQ生成における異なるLLMのパフォーマンスを比較すること。
• 医療教育コンテンツ生成において、どのLLMが高次思考スキルを最もよくサポートするかを特定すること。

主な方法:

• 5つの主要なLLM（ChatGPT-4o、Copilot Pro、Claude Sonnet 4、Grok 3、DeepSeek R1）が、口腔および顎顔面解剖学の教科書から300のMCQを生成しました。
• MCQは、ブルーム分類法の5つの認知レベルを対象とするように設計されました。
• 2人の独立した調査者が、5点のリッカート尺度を使用して各MCQを評価し、評価者間信頼性は重み付きコーエンのカッパで評価されました。

主要な成果:

• 評価者間信頼性は中程度から強かった（カッパ = 0.74–0.86）。
• すべてのLLMは、低次の認知レベル（記憶、理解、応用、評価/創造）で良好なパフォーマンスを示し、中央値スコアは4を超えた。
• クロード・ソネット4は、他のモデルと比較して、高次の認知レベル（応用、分析、評価/創造）で優れたパフォーマンスを示した。
• ChatGPT-4o、DeepSeek R1、Grok 3は、低次の認知レベルへの有意な偏りを示した。

結論:

• LLMは一般的に、ブルーム分類法の低次の認知レベルのMCQ生成において良好なパフォーマンスを示します。
• クロード・ソネット4は、評価されたLLMの中で高次思考スキルとの整合性が最も高いことを示しています。
• この結果は、医療教育における包括的な認知スキル開発をサポートするLLMのさまざまな能力を示唆しています。