歯科教育における教員作成問題に対するChatGPT生成多肢選択問題のベンチマーキング

科学分野:

• 教育工学;教育における人工知能;医学教育

背景:

• 大規模言語モデル（LLM）は、自己主導的な学生学習にますます利用されています。;AI生成教育コンテンツの品質を評価することは、効果的な統合のために不可欠です。;AIツールを従来のメソッドと比較してベンチマーキングすることは、その有用性に関する洞察を提供します。

研究 の 目的:

• ChatGPT-3.5によって生成された評価項目の心理測定特性と、教員によって作成された評価項目を比較すること。;学部歯学生を対象とした口腔医学の文脈におけるAI生成多肢選択問題（MCQ）のパフォーマンスを評価すること。;AI生成および教員作成評価項目の信頼性、難易度、識別力を分析すること。

主な方法:

• 教員20問、ChatGPT-3.5 20問を含む40問の口腔医学評価が開発されました。;この評価は、4つの機関の547人の学部歯学生に実施されました。;項目応答理論、特に3パラメータロジスティックモデルがデータ分析に使用されました。

主要な成果:

• 教員作成問題は、ChatGPT生成問題（0.778）と比較して、より高い個人信頼性（0.845）を示しました。;教員作成問題は、ChatGPT生成問題よりも広い難易度範囲（-1.29～3.22）と高い識別力（0.50～4.64）を示しました。;教員作成問題は平均スコアとばらつきが高かったものの、ChatGPT生成問題は低い推測パラメータで有望な心理測定特性を示しました。

結論:

• 現在、教員作成評価項目は、より優れた識別力と難易度範囲を含む、優れた心理測定特性を示しています。;ChatGPT生成項目は、教育現場でのMCQ生成の可能性を示しており、さらなる調査に値します。;ChatGPTのようなLLMは、将来の教育評価開発において重要な役割を果たし、人間の能力を超える可能性があります。