継続的な低ランクスケール付きドット積アテンション

科学分野:

• 人工知能; 機械学習; 深層学習

背景:

• トランスフォーマーは、静的タスクのシーケンス処理に優れています。トランスフォーマーのスケール付きドット積アテンションは、計算およびメモリの要求が高く、リアルタイムストリームデータ処理での使用が制限されています。トランスフォーマーのコストを削減する既存の方法には、低ランク近似やスパース性があります。

研究 の 目的:

• 継続的推論に適したスケール付きドット積アテンションの効率的な定式化を開発すること。ストリームデータアプリケーションにおけるトランスフォーマーの計算およびメモリ制約に対処すること。

主な方法:

• ナイストローム近似を利用したスケール付きドット積アテンションの新しい定式化を導入しました。トランスフォーマーを使用した効率的な継続的推論の方法を開発しました。

主要な成果:

• 提案された継続的スケール付きドット積アテンションは、元のトランスフォーマーと比較して演算数を最大3桁削減しました。オンラインタスクにおける既存モデルに匹敵する予測パフォーマンスを維持しました。

結論:

• ナイストローム近似は、ストリームデータシナリオにおけるスケール付きドット積アテンションの計算効率の高い代替手段を提供します。このアプローチにより、リソースが制約されたリアルタイムアプリケーションでのトランスフォーマーの実現可能性が高まります。