近代的な人工知能チャットボットによる内歯科の質問に対する回答の精度評価

科学分野:

• 歯科
• 人工知能
• エンドドンティクス

背景:

• 人工知能 (AI) のチャットボットは,医療でますます使用されています.
• 歯内科医のような 専門的な医療分野における AIの精度を評価することは 極めて重要です

研究 の 目的:

• ゲミニ (1.5 Flash, 1.5 Pro) とチャットGPT (3.5, 4) のAIモデルの内歯科質問に対する回答の精度を比較する.
• 歯内科医のAIサポートを評価する.

主な方法:

• 12つのエンドドント学的なトピックに関する40のイエス/ノー質問が専門家によって作成されました.
• 4つのAIモデルが質問され,それぞれの質問に新しいセッションが与えられました.
• コヘンのカッパテストを用いて,専門家のコンセンサスを用いて応答の精度を測定した.

主要な成果:

• ChatGPT-3.5は80%の精度,ChatGPT-4は77.5%,Gemini 1.5 Proは72.5%,Gemini 1.5 Flashは60%の精度を達成した.
• 合意レベルはChatGPTの弱いレベルからGemini Flashの最小レベルまでありました.
• AI チャットボットのパフォーマンスの有意な変動が観察されました.

結論:

• ChatGPTモデルは,ゲミニモデルと比較して,エンドドントクエリの精度が優れていることが示されました.
• 現在の人工知能のチャットボットの性能は 歯内科における臨床的意思決定における信頼性について疑問を投げかけています
• 歯内科における人工知能を完全に評価するには,複雑なシナリオを伴うさらなる研究が必要である.