TransformerとGated Residual Networkを融合し、相互情報量ニューラル推定によってPICUのPPGアーチファクト検出を強化
IEEE transactions on neural networks and learning systems
|February 6, 2026
まとめ
ゲート付き残差ネットワーク（GRN）Transformerは、自己教師あり学習と特定のアクティベーション関数によって強化され、データ制限のある小児集中治療室（PICU）環境において、標準的なTransformerよりも優れた性能を示した。
科学分野:
- 人工知能
- バイオメディカルインフォマティクス
- 機械学習
背景:
- Transformerモデルは、小児集中治療室（PICU）のようなデータ不足環境では苦戦する。
- 教師あり学習のみでは、これらの環境でTransformerを最適化するには不十分である。
- ゲート付き残差ネットワーク（GRN）は、Transformerの性能を向上させるための潜在的な解決策を提供する。
研究 の 目的:
- データ制限のあるPICU環境におけるTransformerモデルの改善のための様々な学習方法を評価すること。
- GRNのゲート付き線形ユニット（GLU）における異なる活性化関数の影響を分析すること。
- GRNを注意機構内に統合する場合と中間層として統合する場合の比較をすること。
主な方法:
- Transformerトレーニングのための教師あり、教師なし、自己教師あり学習（SSL）の比較分析。
- GRNにおけるゲート付き線形ユニット（GLU）の異なる活性化関数（例：シグモイド）の調査。
- GRNのモデル性能への貢献を評価するための相互情報量ニューラル推定（MINE）の利用。
主要な成果:
- GRN-Transformerは、PICUデータにおいて標準的なTransformer、MLP、CNN、LSTMネットワークよりも大幅に優れた性能を示した。
- SSLにファインチューニングを続けるとTransformerの性能は向上するが、GRN-Transformerほどではない。
- GLUにおけるシグモイド活性化は、高い精度（0.98）、適合率（0.91）、再現率（0.96）、F1スコア（0.94）を達成した。
- GRNを注意機構内に統合するよりも、中間フィルター層として統合する方が効果的である。
- MINE分析は、GRNが表現と出力の間の相互情報を強化することを確認した。
結論:
- GRN-Transformer、特にシグモイド活性化GLUを備え、中間層として使用した場合、データ制約のある環境に対して堅牢なソリューションを提供する。
- 本研究結果は、PICUにおけるPPGアーチファクト検出のようなタスクに対して、Transformerのような高度なモデルを採用することを支持する。
- 自己教師あり学習戦略は、ラベル付きデータが不足している場合にモデル性能を向上させるために不可欠である。
