妊婦専門医による妊娠に関する質問に対するAI言語モデルの評価

科学分野:

• 医療情報工学 医療情報工学
• 医療における人工知能
• 産婦人科と産婦人科を担当しています.

背景:

• 大型言語モデル (LLM) は,医療コミュニケーションの潜在力を示しています.
• LLMの応答の臨床的正確性と患者フレンドリー性を評価することは非常に重要です.

研究 の 目的:

• 妊娠に関する質問に対するChatGPT-3.5,Gemini,ChatGPT-4.0のパフォーマンスを比較する.
• 専門家の正確性,信頼性,患者フレンドリー性,理解性に基づいてAIによって生成された応答を評価する.

主な方法:

• 75人の産科・婦人科の専門医が,5ポイントのライカート・スケールを使って,匿名化されたAI応答30件を評価した.
• 3つのLLMすべてに標準化されたゼロショットプロンプトが使用されました.
• クルスカル・ワリスとマン・ウィトニーUテストでは,性能の違いを分析し,クロンバッハのアルファは,レータ間の一貫性を評価した.

主要な成果:

• ChatGPT-4.0は,特に精度と患者フレンドリー性において,最高のパフォーマンスを示しました.
• Geminiは,ChatGPT-4.0と比較して理解度が高く,ChatGPT-3.5は全体的に最低でした.
• 精度,信頼性,患者フレンドリー性 (p < 0.001) の点で有意な差異が見つかりました.

結論:

• ChatGPT-4.0は,テストされたモデルの中で,一般的な妊娠に関する質問に対して,臨床的に最も関連性があり,患者にとって最もフレンドリーな回答を提供します.
• 人工知能のツールは,患者の教育を支援することができますが,専門家の検証は,正確性と安全性のために不可欠です.
• AIが患者の治療結果に及ぼす現実世界の影響については,さらなる研究が必要である.