どちらのボットが一番いいの? 副腎結節に対する生成型人工知能アシスタントの応答の精度と可読性

科学分野:

• 医療情報工学 医療情報工学
• 医療における人工知能
• エンドクリノロジー エンドクリノロジー

背景:

• 患者はますます医療情報を得るために,生成的なAIチャットボットに依存しています.
• 特定の病状に対するこれらのAI応答の正確性,信頼性,読みやすさは十分に理解されていません.

研究 の 目的:

• 副腎結節に関する質問に対するチャットボット応答の,外科医が認識する正確性,信頼性,読みやすさを評価するために.
• 医療情報提供における異なるAIチャットボットのパフォーマンスを比較する.

主な方法:

• 5つの人気のあるチャットボットに6つの一般的な副腎結節に関する質問が質問されました.
• 10人の内分泌外科医が,チャットボットによって生成された答えの正しさ,信頼性,構造を盲目的にレビューし,評価した.
• ANOVAとクラス内相関を含む統計分析を使用して,差異と評価者間の信頼性を評価しました.
• 読解グレードのレベルは,Lexile Text Analyzerを使用して決定されました.

主要な成果:

• チャットボット (p ≤0.05) の間では,正確さ,信頼性,ジャーゴンの使用における有意な差異が観察されました.
• 1つのチャットボット (Perplexity) は,正確さ,信頼性,徹底性において最も高いスコアを得ましたが,最も多くのジャーゴンを使用しました.
• もう1つのチャットボット (Gemini) は,すべてのドメインで最も低いスコアを得ましたが,最も少ないジャーゴンを使用しました.
• 回答のレキセルの平均読解レベルは8年生から10年生でした.

結論:

• 副腎結節に関するチャットボットによって生成された情報は,質の有意な変動を示しています.
• 極めて正確で信頼性の高い回答には,しばしば過剰な医学用語が含まれていた.
• すべてのチャットボット応答は,推奨される患者教育読解レベルを超え,患者の理解を阻害する可能性があります.