AIチャットボットの矯正歯科知識評価：5つのAIチャットボットの比較

科学分野:

• 人工知能
• 矯正歯科
• 医療情報学

背景:

• ヘルスケアにおけるAIの利用増加に伴い、専門分野におけるその正確性を評価する必要があります。
• 複雑な歯科専門分野である矯正歯科では、効果的な患者ケアと教育のために正確な情報が必要です。

研究 の 目的:

• 矯正歯科情報の提供における5つの異なるAIチャットボットのパフォーマンスと正確性を評価すること。
• AIチャットボットの応答を確立された矯正歯科知識および歯科学生のパフォーマンスと比較すること。

主な方法:

• 矯正歯科試験資料からの80の多肢選択問題（MCQ）を使用して、ChatGPT、DeepSeek、Gemini、MedgebraGPT、Meta AIの5つのAIチャットボットをテストしました。
• チャットボットの正確性は、その回答を正解および歯科学生の回答と比較することによって評価されました。
• AIの回答に対する項目難易度指数スコアが計算され、依存MCQと独立MCQについて別々に分析されました。

主要な成果:

• DeepSeekは最も高い正答率を示し、MedgebraGPTは最も低い正答率を示しました。
• GeminiとDeepSeekは2回目の評価でパフォーマンスが向上し、それぞれ中程度および大幅な一致を示しました。
• ChatGPTとMeta AIのパフォーマンスは2回目の評価で向上しませんでした。
• AIと学生のパフォーマンス間の評価者間信頼性は低く、統計的に有意ではありませんでした。

結論:

• DeepSeekは、テストされたAIチャットボットの中で、矯正歯科情報を提供する上で最も高い精度を示しました。
• MedgebraGPTは最も精度の低い結果を示し、AIのパフォーマンスに大きなばらつきがあることを浮き彫りにしました。
• AIチャットボットは矯正歯科に関するある程度の理解を持っていますが、信頼性の高い使用のためには、その精度と一貫性をさらに改善する必要があります。