AI生成の生化学テスト項目パラメータとMSTテスト条件

科学分野:

• 医学教育評価; 教育における人工知能; 心理測定学

背景:

• 医療評価項目の難易度推定におけるChatGPT 4oのようなAIツールの精度を調査すること。AI予測と多段テストシミュレーションからの経験的派生パラメータを比較すること。

研究 の 目的:

• 医療評価項目の難易度推定におけるChatGPT 4oの能力を評価すること。AI生成の難易度推定値とシミュレーション派生パラメータを比較すること。

主な方法:

• ハイブリッドシミュレーション検証デザインを利用すること。AI推定難易度パラメータ（bパラメータ）を持つ80の生化学多肢選択問題を作成すること。5,000人の仮想受験者によるシミュレートされた多段テストを通じて質問を実施すること。

主要な成果:

• AI生成パラメータとシミュレーション派生パラメータの間で中程度の合意（r=0.612）が認められました。ChatGPT 4oは項目難易度を体系的に過大評価しました（平均バイアス=0.240）。AI推定値は、非常に簡単な項目では精度が低く、中程度の難易度の項目と比較してエラー率が高くなりました。

結論:

• ChatGPT 4oは、医学教育における予備的な項目生成に有望ですが、経験的なキャリブレーションと専門家の監視が必要です。シミュレーションベースの検証には限界があり、厳密な心理測定学的検証には実際の学生のパフォーマンスデータが不可欠です。医学教育評価へのAIの統合には、体系的なバイアスに対処し、精度を確保するための慎重な検証が必要です。