解剖学試験問題に対する7つの大規模言語モデルのパフォーマンス

科学分野:

• 医学教育
• 人工知能
• 解剖学

背景:

• 人工知能（AI）と大規模言語モデル（LLM）の急速な進歩は、医学のような専門分野におけるそれらの有用性を評価する必要性を生じさせています。
• 医学教育、特に解剖学評価におけるAIの潜在的な影響は、徹底的な調査が必要です。

研究 の 目的:

• 医学部学生向けの理論的な解剖学試験問題に答える上での様々なAI言語モデルの有効性を評価すること。
• AIのパフォーマンスを解剖学の知識における人間の学生の能力と比較してベンチマークすること。

主な方法:

• 過去の医学部学生の試験からの555の多肢選択式解剖学問題（ポーランド語150問、英語405問）を使用しました。
• ChatGPT-4o mini、ChatGPT-4o、DeepSeek、Copilot、Gemini、Bielik、PLLumの7つのAIモデルをテストしました。
• 質問の種類と解剖学の主題に基づいてAIのパフォーマンスを分析しました。

主要な成果:

• ChatGPT-4oは最高の精度（83.1％）を達成し、次いでCopilot（79.6％）、Gemini（78.8％）が続きました。
• AIモデルは一般的に臓器機能（75％）に関する質問でより良い成績を収め、複数回答の質問（37.6％）では成績が悪かったです。
• テストされたほとんどのAIモデルは、解剖学試験に独立して合格する能力を示しました。

結論:

• 現在のAI言語モデルは、解剖学試験問題に答える上で顕著な能力を持っており、人間の学生の合格率を超える可能性があります。
• AIのパフォーマンスは急速に向上しているため、教育者はAIの能力を考慮して評価戦略を適応させる必要があります。
• 医学教育における学業の完全性を維持するためには、AIに耐性のある評価方法の開発が不可欠です。