大規模言語モデルを用いた医療におけるバイアスの監査

科学分野:

• 人工知能
• 自然言語処理
• ヘルスケアインフォマティクス

背景:

• 大規模言語モデル（LLM）は医療分野で有望視されていますが、人口統計学的なバイアスを示します。
• 手動によるバイアス監査は、大量のデータのため非現実的です。
• LLMは他のモデルのバイアスを監査する可能性がありますが、その有効性は様々です。

研究 の 目的:

• LLMのサイズとプロンプト戦略がバイアス検出にどのように影響するかを評価すること。
• 医療データセットを使用して異なるLLMのバイアス検出パフォーマンスを比較すること。
• AIにおけるバイアス監査のための費用対効果の高いLLMソリューションを特定すること。

主な方法:

• プロンプト、出力、バイアスラベルとともにStanford Healthcare red-teamingデータセットを利用しました。
• バイアス検出能力についてGPT-3.5-turbo、GPT-4o、llama3.3、o1-miniをテストしました。
• バイアス検出への影響を評価するために、Thread of Thoughtを含むプロンプト技術を採用しました。

主要な成果:

• o1-miniのような小さいモデルはGPT-4oよりも高い精度とF1スコアを達成しました。
• 大きいモデルにおける自己批判機能は、バイアス検出を大幅に改善しませんでした。
• Thread of Thoughtプロンプトは、テストされたすべてのモデルでバイアス検出を大幅に向上させました。

結論:

• 小さいLLMは、特に精度が重要な場合、バイアス検出に効果的かつ費用対効果が高い可能性があります。
• プロンプト技術は、LLMベースのバイアス監査を改善するために重要です。
• バイアス検出のためのLLMの選択は、特定のメトリックの優先順位に合わせるべきです。