深層テーブル学習のための適応ルーティングを備えたマルチタイムスケール表現と時間シフト

科学分野:

• 機械学習
• データサイエンス
• 人工知能

背景:

• 実世界のアプリケーションにおけるテーブルデータセットは、頻繁に時間シフトを経験し、これは長距離ニューラルネットワークのパフォーマンスを著しく低下させる可能性があります。
• 現在の時間エンコーディングおよび適応メソッドは、時間ダイナミクスのマルチホライズンおよび異種性質を捉えることができず、時間の手がかりを静的な補助変数として扱うことがよくあります。

研究 の 目的:

• 時間シフトを効果的に処理できるロバストなテーブル学習のために設計された新しいプラグアンドプレイメソッドであるTARS（Temporal Abstraction with Routed Scales）を導入すること。
• 様々な深層学習モデルバックボーンに適用可能で、時間的堅牢性を向上させるメソッドを開発すること。

主な方法:

• TARSは、構造化メモリを使用してタイムスタンプを短期、中期、長期の埋め込みに分解するために、明示的な時間エンコーダーを採用しています。
• 暗黙的なドリフトエンコーダーは、進行中の時間ダイナミクスを反映するドリフト信号を生成するために、高次の分布統計を追跡します。
• ドリフト認識ルーティングメカニズムは、現在の条件に基づいて時間経路を適応的に重み付けし、特徴時間融合レイヤーを介してルーティングされた時間表現を元の特徴と統合します。

主要な成果:

• TARSは、TabReDベンチマークの8つの実世界のデータセット全体で、競争力のあるメソッドを上回る一貫したパフォーマンスを示しました。
• MLPで+2.38％、DCNv2で+4.08％を含む、大幅な平均相対改善を達成しました。
• アブレーションスタディは、TARSの4つのモジュールすべてが重要かつ補完的な貢献をしていることを確認しました。

結論:

• TARSは、進化するデータに動的に適応することにより、既存の深層テーブルモデルの時間的堅牢性を効果的に向上させます。
• 提案されたメソッドは、時間シフトが存在する場合に様々な深層学習アーキテクチャのパフォーマンスを向上させるための汎用的なソリューションを提供します。