LLM生成アノテーションからのラベルノイズが診断モデル性能評価に与える影響

科学分野:

• 人工知能
• 機械学習評価
• 医療情報学

背景:

• 人工知能（AI）二値分類モデルの評価は、正確なデータラベリングに依存しています。
• 大規模言語モデル（LLM）はデータ注釈にますます使用されていますが、ラベルノイズを導入する可能性は懸念事項です。

研究 の 目的:

• LLMによって生成されたラベルノイズが、AI二値分類モデルの実際の性能評価に与える影響を体系的に調査すること。
• 病気の有病率によって変化するLLMラベルエラーが、AIモデル性能推定の精度にどのように影響するかを定量化すること。

主な方法:

• 様々な有病率条件（10％から90％）にわたる合成データセット（10,000例）を使用して、シミュレーションフレームワークを開発しました。
• LLMの感度と特異度を個別に変化させ、既知の性能を持つAIモデルをシミュレートしました。
• LLM生成ラベルを使用して見かけのモデル性能を計算し、性能限界と不確実性を決定するために分析的およびモンテカルロ法を使用しました。

主要な成果:

• LLMラベルの品質は、AIモデルの見た目の性能に大きく影響し、バイアスは病気の有病率に強く依存していました。有病率が低い設定（10％）では、LLMの特異度が低下すると、AIモデルの感度が大幅に過小評価されました（例：LLMの特異度が90％の場合、完璧なモデルで見た目の感度は約53％になりました）。有病率が高い設定（90％）では、LLMの感度が低下すると、AIモデルの特異度が過小評価されました（例：LLMの感度が90％の場合、完璧なモデルで見た目の特異度は約53％になりました）。

結論:

• LLM生成ラベルは、AIモデル評価に系統的で有病率依存のバイアスを導入する可能性があります。
• 偽陽性が感度に不釣り合いに偏るのを防ぐために、低有病率タスクにおける正確な性能推定には、高いLLM特異度が不可欠です。
• 信頼性の高いAIモデル評価には、LLMラベルの品質と有病率を慎重に考慮することが不可欠です。