HealthContradict：言語モデルにおける生物医学的知識の競合の評価

科学分野:

• 人工知能
• 生物医学情報学
• 自然言語処理

背景:

• 言語モデル（LM）は、健康情報検索にますます使用されています。
• 複雑で矛盾した生物医学情報に対するLMのパフォーマンスを評価することは重要です。

研究 の 目的:

• 長くて矛盾した生物医学的文脈 over LMの推論を評価する。
• さまざまな文脈設定が健康に関する質問に対するLMの応答に与える影響を評価する。

主な方法:

• 健康に関する質問、事実に基づいた回答、矛盾した文書を含む920のインスタンスを持つ専門家によって検証されたHealthContradictデータセットを利用しました。
• 正しい、不正確な、矛盾したコンテキストを含むさまざまなプロンプト設定をテストしました。
• LMの出力に対するコンテキストの影響を測定しました。

主要な成果:

• HealthContradictデータセットは、既存のベンチマークよりも効果的にLMの文脈推論能力を区別します。
• ファインチューニングされた生物医学LMは、正しい文脈を活用する能力を示しました。
• モデルは、不正確または矛盾する文脈情報に対して回復力を示しました。

結論:

• 生物医学LMの強みは、事前学習知識と文脈推論の両方に由来します。
• LMは、誤報の影響を軽減しながら、正確な健康情報を効果的に活用できます。