人工知能が生成した整形外科用生物学的注射に関する患者の質問への回答の評価

科学分野:

• 整形外科; バイオテクノロジー; 人工知能

背景:

• 整形外科用生物学的注射に対する患者の関心が高まっています。患者は健康情報源としてAI大規模言語モデル（LLM）をますます利用しています。AIによって生成された整形外科用生物学的情報の患者に対する精度と可読性は不明です。

研究 の 目的:

• 整形外科用生物学的注射に関する一般的な患者の質問に対する3つの一般的なAI LLM（ChatGPT、Gemini、Grok）の回答の精度と可読性を評価すること。

主な方法:

• ChatGPT 4o、Gemini 2.5 Flash、およびGrok 3を対象とした20の一般的な患者の質問を評価する横断研究。4人の独立したレビュアーが、ChatGPT応答評価システム（CRRS）およびAI応答指標（AIRM）を使用して回答の精度を評価しました。可読性はFlesch-Kincaidグレードレベル（FKGL）を使用して測定されました。

主要な成果:

• 回答の精度は一般的に許容範囲内でしたが、25〜50％は明確化が必要でした。GeminiはChatGPTと比較して優れた精度を示しました（CRRS、P = .04; AIRM、P = .03）。すべてのAIモデルは、推奨される患者教育レベルを超えて、大学レベル以上の読解レベルで回答を生成しました。

結論:

• AI LLMは一般的に正確な整形外科用生物学的情報を提供しますが、患者に適した可読性が欠けています。GeminiはChatGPTよりも精度が向上しましたが、すべてのモデルで明確さに限界がありました。AIの回答は、医師主導の患者教育を補完するものであり、置き換えるものではありません。