アルゴリズムからオペレーターへ：外部サイナスリフトに関する患者教育における人工知能の信頼性はどの程度か？

科学分野:

• 医療における人工知能
• 医療情報学
• 口腔および顎顔面外科学

背景:

• 患者は、ChatGPTやClaudeなどの大規模言語モデル（LLM）を外科情報にますます利用しています。
• AI生成医療情報、特に外部サイナスリフトのような処置に関する情報の正確性、品質、および可読性は、十分に理解されていません。
• 本研究では、患者教育コンテンツについて、2つの異なるLLMアーキテクチャを評価します。

研究 の 目的:

• 2つのAI言語モデル（DO-LLMおよびTB-LLM）からの回答の信頼性、品質、有用性、および可読性を比較すること。
• 外部サイナスリフト処置に関するAI生成患者情報を評価すること。
• 現在のLLMが専門的な歯科手術における患者教育に適しているかどうかを判断すること。

主な方法:

• デコーダーオンリーLLM（DO-LLM）とトランスフォーマーベースLLM（TB-LLM）を比較する横断研究。
• 外部サイナスリフトに関する72の標準化された患者の質問を両方のモデルに提示しました。
• 回答は、歯科専門家によって、修正DISCERN、グローバル品質スコア、有用性スケール、および可読性指数（フレッシュリーディングイーズ、フレッシュキンケイドグレードレベル）を使用して評価されました。

主要な成果:

• DO-LLMは、処置およびリスク関連ドメイン（例：修正DISCERNスコア）において、より高い信頼性を示しました。
• TB-LLMは、ライフスタイルおよび行動推奨（グローバル品質スコア）において、より優れたパフォーマンスを示しました。
• DO-LLMは、より多くの適度な品質の回答（56.9%）を生成したのに対し、TB-LLMは、より高い割合の良い品質の回答（29.2%）を生成しました。

結論:

• 両方のAIモデルは、外部サイナスリフトに関する患者教育の可能性を秘めていますが、ドメイン固有の強みがあります。
• DO-LLMは外科処置とリスクの説明に優れていますが、TB-LLMはライフスタイルガイダンスに適しています。
• 歯科特有のAIツールのさらなる開発と患者中心の統合は、外科患者教育におけるAIの最適化のために不可欠です。