大規模言語モデルにおける心血管リスクの帰属におけるバイアスと変動性の解明

科学分野:

• 医療人工知能
• 臨床意思決定支援システム
• 健康公平性研究

背景:

• 大規模言語モデル（LLM）は、医療アプリケーションにますます統合されています。
• しかし、人口統計学的および臨床的要因、特に心血管リスクの帰属におけるパフォーマンスは、よく理解されていません。
• このギャップは、この重要な分野におけるLLMの意思決定プロセスの調査を必要とします。

研究 の 目的:

• 特定のLLM（ChatGPT 4.0 mini）が、さまざまな人口統計学的および臨床的領域にわたって相対的な心血管リスクをどのように割り当てるかを調査すること。
• リスクの帰属におけるLLMの一貫性と潜在的なバイアスを評価すること。
• 特定の臨床的要因（例：BMI、糖尿病、うつ病、喫煙、高脂血症）がLLMのリスク評価に与える影響を調査すること。

主な方法:

• 一般的な心血管リスク、BMI、糖尿病、うつ病、喫煙、高脂血症の6つの領域をカバーする構造化されたプロンプトセットが設計されました。
• プロンプトはChatGPT 4.0 miniに3回送信されました。
• 一般的なプロンプトはベースラインのリスクの帰属を評価し、比較プロンプトは特定の領域が含まれた場合のリスク割り当ての変化を評価しました。

主要な成果:

• LLMは、一般的なプロンプトでは、一般的に女性よりも男性、白人患者よりも黒人患者の方が心血管リスクが高いと評価しました。
• 比較分析では、6つの領域のうち2つで性別によるリスクの帰属が変化しました（例：うつ病ではリスクは同等、喫煙では男性のリスクが高かった）。
• 人種によるリスクの帰属は一貫しており、LLMは一貫して黒人患者をより高いリスクと特定しました。
• 繰り返し実行しても高い一致度（ICC=0.949）が観察されました。

結論:

• LLMは、さまざまな領域にわたる心血管リスクの帰属において、バイアスと変動性の両方を示しました。
• 性別によるリスクの認識は併存疾患によって影響を受ける可能性がありますが、人種による認識は著しく安定していました。
• これらの発見は、既存の健康格差の永続化のリスクを軽減するために、臨床現場でのLLMの厳密な評価の重要な必要性を強調しています。