MCQG-SRefine: 繰り返し自己批判,訂正,比較フィードバックによる複数選択質問生成と評価

科学分野:

• 人工知能 (AI) とは,人工知能 (AI) のことです.
• 自然言語処理 (Natural Language Processing) とは,自然言語処理で処理される言語のことです.
• 医療教育 医療教育について

背景:

• 自動質問生成 (QG) は,インテリジェント・チュートリング・ダイアログ・システムなどのAIとNLPのアプリケーションにとって極めて重要です.
• 米国医療免許試験 (USMLE) などの専門試験のための高品質の複数の選択質問 (MCQG) を生成することは,ドメインの専門知識と推論要件のために困難です.
• 現在の大型言語モデル (LLM) は,時代遅れの知識,幻覚,迅速な感受性など,プロフェッショナルなMCQGの限界に直面しており,これは最適な質と難易度の低い質問につながります.

研究 の 目的:

• 医療ケースから高品質のUSMLEスタイルの質問を生成するためのLLM自己精錬ベースのフレームワーク (MCQG-SRefine) を開発する.
• 専門家主導のプロンプトエンジニアリングと反復的な自己批判と自己訂正を通じて,生成された質問の質と難易度を向上させる.
• LLM-as-Judgeを用いた自動評価メトリックを導入し,高額な専門家の評価を代用する.

主な方法:

• LLMの自己批判と訂正メカニズムを統合したMCQG-SRefineの枠組みを提案した.
• 質問生成プロセスを導くために,専門家主導のプロンプトエンジニアリングを採用しました.
• 質問の質と難易度の自動評価のためのLLM-as-Judgeメトリックを開発しました.

主要な成果:

• MCQG-SRefineは,生成されたUSMLEスタイルの質問の質と難易度に対する人間の専門家満足度を大幅に改善しました.
• このフレームワークは,医療症例を,挑戦的で関連性のあるMCQに効果的に変換します.
• LLM-as-Judgeメトリックは,信頼性があり,専門家に合わせた評価を示し,手動の専門家のレビューの代替案を提供しました.

結論:

• MCQG-SRefineは,高品質の医療MCQGを生成するための堅牢なソリューションを提供し,現在のLLMsの限界に対処しています.
• 自己精錬のアプローチは,プロフェッショナル試験に不可欠な質問の関連性と難易度を高めます.
• LLM-as-Judgeを使用した自動評価は,生成された質問を評価するためのスケーラブルで費用対効果の高い方法を提供します.