関連する実験動画
Updated: Aug 5, 2026
07:51
Video Movement Analysis Using Smartphones (ViMAS): A Pilot Study
Published on: March 14, 2017
モバイルデバイスのリアルタイム感情認識性能:AppleのARKitを使用してカメラとTrueDepthセンサーの詳細な分析
Céline Madeleine Aldenhoven1, Leon Nissen1, Marie Heinemann1
1Institute for Digital Medicine, University Hospital Bonn, University of Bonn, 53113 Bonn, Germany.
Sensors (Basel, Switzerland)
|February 13, 2026
まとめ
iPhone 14 ProのApple ARKitを使用したオンデバイスの感情認識は68.3%の精度を達成し,人間の評価者を上回りました. このプライバシー保護技術により,モバイルアプリケーションのリアルタイムの顔面分析が可能になります.
科学分野:
- コンピュータビジョン コンピュータビジョン
- 人とコンピュータの相互作用です.
- エフェクティブ・コンピューティング (Affective Computing) とは
背景:
- 顔の特徴は,感情,運動機能,遺伝状態に関する重要な情報を伝達します.
- カメラと深度センサーを備えたモバイルデバイスは,さまざまなアプリケーションでリアルタイムで顔面分析を可能にします.
- デバイス上の感情認識を理解することは,有効なモバイルアプリケーションの開発に不可欠です.
研究 の 目的:
- iPhone 14 ProのAppleのARKitフレームワークを使用してデバイス上の感情認識の有効性を評価するために.
- ARKitのブレンド形から顔の感情を分類するためのコサイヌ類似度メトリックのパフォーマンスを評価するために.
- デバイス上のシステムの精度を人間の感情認識能力と比較するために.
主な方法:
- 31人の健康な成人の表情をキャプチャするためにネイティブのiOSアプリケーションが開発されました.
- フレームごとに36の動きと7つの別々の感情を表すARKitのブレンド形が抽出されました.
- 感情を分類するために,プロトタイプベースのコサイヌ類似度メトリックを使用し,パフォーマンスは精度とAUCによって測定されました.
主要な成果:
- コシナリオ類似性分類器は,全体の精度68.3%を達成し,平均の人間の評価器の精度 (58.9%) を上回りました.
- 喜び,恐怖,悲しみ,驚きに対して高精度で,怒り,嫌悪感,軽蔑に対して競争的な結果が出ました.
- 曲線下の面積 (AUC) 値は,すべての感情クラスで一貫して高かった (≥0.84).
結論:
- ARKitのブレンド形状とコサイヌの類似性を用いたオンデバイスの顔の感情認識は実現可能であり,人間に匹敵する性能を達成します.
- この方法は,ベクトル操作のみを使用してリアルタイムで動作し,プライバシーと最小限の計算オーバーヘッドを確保します.
- この技術は,リアルタイムの顔面分析のためのプライバシー保護のモバイルアプリケーションの開発をサポートします.
