低計算能力エッジSoCにおける物体検出：再現可能なベンチマークと展開ガイドライン

科学分野:

• コンピュータサイエンス
• 人工知能
• 組み込みシステム

背景:

• エッジAIシステムオンチップ（SoC）へのディープラーニング物体検出器の展開は、理論的な計算定格以外の要因により課題に直面しています。
• 実際のパフォーマンスは、アーキテクチャ設計、メモリ帯域幅、およびシステムレベルの競合によって影響を受けます。

研究 の 目的:

• 3つのRockchip SoC上で9つのYOLO物体検出バリアントの包括的かつ再現可能なベンチマークを提供すること。
• さまざまな入力解像度、計算構成、および動作条件にわたるパフォーマンスを分析すること。

主な方法:

• 3つのRockchip SoC上で9つのYOLOバリアントのベンチマーク。
• 推論レイテンシ、検出精度（mAP）、FLOPs、パラメータ数、および推論あたりのエネルギーを含むパフォーマンスメトリックの評価。
• 異なる入力解像度、計算設定、およびマルチタスク条件下でのテスト。

主要な成果:

• 推論レイテンシは、FLOPsやパラメータ数よりも検出精度（mAP）との相関が強いことが示されました。
• メモリ帯域幅の制限により、入力サイズに対するレイテンシのスケーリングは理論的な予測から逸脱しました。
• マルチコアNPUスケジューリングは、同期とメモリのボトルネックにより、わずかなメリットしかありませんでした。
• メモリ帯域幅は、マルチタスクストレス下での堅牢性の主な要因でした。
• SoC間で、推論あたりのエネルギーに有意な差が観察されました。

結論:

• ハードウェアを意識したモデル選択とメモリ効率の高い最適化は、リアルタイムエッジAIアプリケーションにとって不可欠です。
• パフォーマンスは、TOPSだけでなく、モデルアーキテクチャ、ハードウェア機能、およびシステムレベルの要因の複雑な相互作用によって決定されます。
• この研究は、組み込みプラットフォームでの物体検出展開を最適化するための実践的な洞察を提供します。