モーション・リニア・ディフュージョン・トランスフォーマーによる一貫性のある制御可能な画像アニメーション

科学分野:

• コンピュータビジョン コンピュータビジョン
• 人工知能 (AI) とは,人工知能 (AI) のことです.
• 機械学習 (Machine Learning) とは,機械学習 (Machine Learning) について学ぶことです.

背景:

• ディフュージョンモデルには高度な画像アニメーションがありますが,外観の一貫性と動作の滑らかさには課題が残っています.
• 現在の画像アニメーション方法では,U-Netの拡散モデルが用いられることが多いが,これは,トランスフォーマーベースのテキスト・トゥ・ビデオ (T2V) モデルよりも進歩していない.
• トランスフォーマーでバニラな自己注意は,高い計算コストにつながり,画像アニメーションの効率を制限します.

研究 の 目的:

• 効率的で一貫性があり,スムーズな画像アニメーションのためのフレームワークであるMiraMoを紹介します.
• 現存する拡散モデルの容姿の一貫性や運動制御における限界を解決する.
• 画像アニメーション生成のコンピューティング効率を改善するために.

主な方法:

• バニラな自己注意ではなく,効率的な線形注意を備えたテキストからビデオのアーキテクチャを採用しました.
• モーション・レジダル・ラーニング・パラダイムを導入し,よりよい時間的な一貫性のためにモーション・ダイナミクスをモデル化しました.
• DCTベースのノイズ精製戦略と,アーティファクト抑制と動作制御のためのダイナミクス制御モジュールを使用しました.

主要な成果:

• MiraMoは,最先端の方法と比較して,一貫性のあるスムーズなアニメーションを生成する上で優れたパフォーマンスを示しています.
• このフレームワークは,推論速度を加速し,計算オーバーヘッドを削減します.
• 実験は,ムーーション転送とビデオ編集の作業におけるMiraMoの有効性を検証しています.

結論:

• MiraMoは,高品質の画像アニメーションのための効率的かつ効果的なソリューションを提供しています.
• このフレームワークは,外観の一貫性,動きのスムーズさ,制御性を向上させることに成功しています.
• MiraMoは,拡散ベースの画像アニメーション技術における重要な進歩を表しています.