モヤモヤ病に関する質問に対する大規模言語モデルの回答に対する患者の視点

科学分野:

• 医療情報学
• ヘルスケアにおける人工知能
• 脳血管疾患

背景:

• 大規模言語モデル（LLM）は、健康情報のためにますます使用されています。
• モヤモヤ病の情報へのアクセスは、非専門家コミュニティにとって重要です。

研究 の 目的:

• モヤモヤ病に関する情報の公開されているLLMの有用性、安全性、役立ち度、および正確性を評価すること。
• ChatGPT-4oとGemini 1.5 Flashからの回答を比較すること。

主な方法:

• ChatGPT-4oとGemini 1.5 Flashに、モヤモヤ病に関する一般的な10の質問を直接入力しました。
• モヤモヤ病財団のウェブサイトを通じてアンケートでコミュニティからのフィードバックを収集しました。
• 臨床医がLLMの回答の安全性と正確性を評価しました。

主要な成果:

• コミュニティ回答者は、LLMの回答が医師提供の情報と同等またはそれ以上であると評価しました。
• LLMは、処置、投薬、および医療を求めるべき時期に関する重要な安全情報を頻繁に見落としていました。
• 医師評価者は、LLMの回答が最近の研究を欠き、緊急の症状に対処できていないことを指摘しました。

結論:

• LLMの回答は高品質と認識されていますが、安全性とデータの完全性において重大な制限があります。
• LLMによって生成された健康情報の見落としは、患者と医師の関係および患者の安全性に悪影響を与える可能性があります。
• 信頼性の高い健康情報の普及のために、LLMのさらなる洗練が必要です。