大規模言語モデルを用いた定量的研究：テキストデータの品質が特徴量表現と機械学習モデルに与える影響の評価

科学分野:

• ヘルスインフォマティクス; 機械学習; 自然言語処理

背景:

• 実世界のデータ収集では、データ品質が損なわれることが多く、機械学習（ML）モデルのパフォーマンスに影響を与える。進捗記録などのヘルスケアにおけるテキストデータは、不正確なML予測が生命を脅かす可能性があるため、高い精度が必要とされる。テキストデータの品質の影響を評価することは、信頼性の高いヘルスケアMLアプリケーションに不可欠である。

研究 の 目的:

• テキストデータセットの品質を定量化し、エラーがMLモデルに与える影響を評価する。特徴量表現とMLモデルのエラーに対する耐性を決定する。ヘルスケアMLのためのデータ品質改善へのリソース投資の正当性を評価する。

主な方法:

• テキストデータセットの品質評価のためのトークンレベルのエラー率メトリックを開発した。Mixtral大規模言語モデル（LLM）を使用して、データセットのエラーを定量化および修正した。MIMIC-III（高品質）およびオーストラリア高齢者介護施設（AACHs、低品質）データセットを分析し、MIMIC-IIIにエラーを導入し、AACHsを修正した。受信者操作特性曲線下面積（AUC）を使用して、特徴量表現とMLモデルを評価した。

主要な成果:

• Mixtralは進捗記録の63%でエラーを検出し、17%で単一トークンの誤分類が見られた。特徴量表現のパフォーマンスは10%未満のエラー率では許容範囲であったが、この閾値を超えると著しく低下した。エラー率8%のAACHデータセットでは、パフォーマンスの大きな低下は見られなかった。TF-IDFは埋め込み特徴量よりも優れていた。MLモデルの有効性はタスクによって異なった。

結論:

• MLモデルはデータ品質に敏感であり、エラー率が10%以上になるとパフォーマンスが著しく低下する。ヘルスケアでのML実装前にデータセット品質評価が不可欠である。MLモデルの信頼性と有効性を確保するため、エラー率の高いデータセットには修正措置が不可欠である。