CMKD: 音声分類のためのCNN/Transformerベースのクロスモデル知識蒸留

科学分野:

• 人工知能
• 機械学習
• 信号処理

背景:

• 畳み込みニューラルネットワーク（CNN）は音声分類を支配してきました。
• 最近、音声スペクトログラムトランスフォーマー（AST）が登場し、CNNを上回りました。
• 知識蒸留（KD）は、モデルトレーニングのための技術です。

研究 の 目的:

• CNNとASTの間の相互作用を調査します。
• クロスモデル知識蒸留（CMKD）を音声分類に適用します。
• 提案されたCMKD法を使用して最先端の結果を達成します。

主な方法:

• 教師と学生の両方としてCNNとASTを利用しました。
• モデル間の知識移転のために知識蒸留（KD）を実装しました。
• ベンチマークデータセットでCNN/Transformerクロスモデル知識蒸留（CMKD）法を評価しました。

主要な成果:

• KDを介してトレーニングされた学生モデルは、パフォーマンスを大幅に向上させました。
• 多くの場合、学生モデルは教師モデルを上回りました。
• FSD50K、AudioSet、ESC-50データセットで新しい最先端の結果が達成されました。

結論:

• CNNとASTは、音声分類において補完的な関係を示します。
• クロスモデル知識蒸留（CMKD）は、モデルパフォーマンスを効果的に向上させます。
• 提案されたCMKD法は、将来の音声分類研究にとって有望な方向性を提供します。