医療倫理教育における人工知能：多肢選択問題生成における8つのモデルの記述的研究

科学分野:

• 医療教育技術; ヘルスケアにおける人工知能; 評価と査定

背景:

• 人工知能（AI）は、医療教育者にとって課題と機会の両方をもたらします。; AIは、医療倫理評価のためのコンテンツ生成の潜在的なソリューションを提供します。; 米国医師免許試験（USMLE）に準拠した医療倫理多肢選択問題（MCQ）を作成する上でのAIの効果を評価することは極めて重要です。

研究 の 目的:

• 8つのAIモデルの医療倫理MCQ生成パフォーマンスを評価すること。; AI生成MCQの関連性、明瞭性、正確性をUSMLE基準と比較評価すること。; GPT-4 Turbo、GPT-3.5 Turbo、o1 Mini、o1 Preview、GPT-4、Claude 3.5 Sonnet、Claude 3 Opus、Geminiを含むさまざまなAIモデルの効果を比較すること。

主な方法:

• 8つのAIモデルに、13のUSMLEに準拠した医療倫理学習成果に対する2セットのMCQ（問題、回答、説明）を生成させました。; 4人の独立した医療倫理専門家が、関連性、明瞭性、正確性に基づいて生成されたMCQを評価しました。; パフォーマンス指標には、各モデルの平均、中央値、範囲、合計スコア、全体的なパーセンテージスコアが含まれ、定性的なフィードバックも提供されました。

主要な成果:

• Claude 3.5 Sonnetは、全体的なパフォーマンス（86.28%）、正確性（85.57%）、明瞭性（91.73%）で最も高い評価を得ました。; o1 Miniは85.19%の全体スコアで優れたパフォーマンスを示し、GPT-4は関連性（88.65%）で優れていました。; GPT-4 Turboとo1 Previewは最も低い全体スコア（76.79%）を達成しましたが、誤った回答や倫理に基づかない問題などの一般的な弱点がありました。

結論:

• AIモデルは、医療教育者が医療倫理MCQを作成するのを支援する上で significant な可能性を示しています。; AI生成評価コンテンツの正確かつ適切な適用を保証するには、専門家の監督が不可欠です。; この研究は、AI生成教育資料の慎重な検証の必要性を強調しています。