てんかんにおけるAIのバイアスに対するワクチン接種は可能か？ 探索的研究

科学分野:

• 医療における人工知能
• 臨床意思決定支援システム
• 健康の公平性

背景:

• 大規模言語モデル（LLM）は、臨床意思決定支援のためにますます利用されています。
• LLMが社会経済的バイアスを永続させる可能性についての懸念があります。
• これらのバイアスを軽減するための単純なプロンプトベースの介入の有効性は、よく確立されていません。

研究 の 目的:

• プロンプトベースの「ワクチン接種」がLLMの推奨におけるバイアスを軽減し、精度を向上させることができるかを評価する。
• 臨床的に無関係な社会経済的情報を無視するようにLLMに指示することの影響を評価する。

主な方法:

• 実験的研究では、公開されているLLMインターフェイス（メモリ無効）を使用しました。
• 社会経済的（SES）記述子が異なる2つの架空のてんかん症例（診断および治療）を使用しました。
• 各症例を6つの最先端LLMに条件ごとに10回提示し、480の応答を生成しました。
• 精度とバイアスは、エビデンスに基づいたガイドラインと比較して応答を評価することによって測定されました。

主要な成果:

• ベースラインの診断精度は36%で、社会経済的格差は45パーセンテージポイントでした。ワクチン接種により、精度は55%に向上し、バイアスは27パーセンテージポイントに減少しました。
• ベースラインの治療精度は51%で、社会経済的格差は25パーセンテージポイントでした。ワクチン接種により、精度は63%に向上し、バイアスは8パーセンテージポイントに減少しました。
• 介入効果はLLM間で著しく異なり、一部ではバイアスが解消されたものの、他のモデルでは逆効果が見られました。

結論:

• 単純なプロンプトベースの介入は、LLMの臨床的推奨における社会経済的バイアスを軽減し、精度を向上させることができます。
• プロンプトエンジニアリングは、ヘルスケアにおけるAIバイアスを軽減するための実用的な戦略を提供します。
• モデル固有のパフォーマンスのばらつきは、継続的な監視と補完的なバイアス軽減戦略を必要とします。