麻酔学における複数選択の質問を生成するための細部調整された大型言語モデル: 心理測定法による比較と教員による論文の比較

科学分野:

• 医療教育 医療教育について
• 評価における人工知能
• サイコメトリクス サイコメトリクス

背景:

• マルチプル選択質問 (MCQ) は,標準化された医療評価に不可欠です.
• 高品質のMCQを開発するには,学科の専門知識と厳格な方法論が必要です.
• 大規模言語モデル (LLM) は,自動化されたMCQ生成の機会を提示しますが,評価は限られています.

研究 の 目的:

• 精密に調整されたLLMが,教員によって書かれた項目と比較できるサイコメトリックの性質を持つ麻酔学MCQを生成できるかどうかを評価する.

主な方法:

• 微調整されたGPT-4モデルが麻酔学資料で訓練された.
• モデルは15のMCQを生成し,15の教員によって書かれたMCQと共に分析されました.
• アイテム分析は,難易度,ポイント・バイシリアル相関,差別指数を比較したサイコメトリックの基準に従った.

主要な成果:

• LLMで生成されたMCQと教員によって書かれたMCQとの間の難易度,ポイント-バイシリアル相関,または差別指数の有意な違いは見つかりませんでした.
• 両方のMCQのセットは,全体的なサイコメトリックの質が控えめであることが示されました.
• LLMで生成された項目 (平均難度0.79,ポイントバイシリアル0.17,差別0.08) は,専門家項目 (平均難度0.81,ポイントバイシリアル0.19,差別0.09) と比較することができました.

結論:

• 監督された微調整されたLLMは,専門家教員と同様のサイコメトリックの質を持つMCQを生成することができます.
• 自動アイテム生成は,手動のMCQ開発を補完するものであって,代替するものではありません.
• 評価におけるLLM統合の一般化と最適化のためにさらなる研究が必要である.