スタジオおよび実世界のデータセットにおける自己危害検出のためのアクション認識モデルのベンチマーク

科学分野:

• コンピュータサイエンス
• 人工知能
• 臨床心理学

背景:

• 精神科病棟における患者の自己危害を防ぐための自動化システムは非常に重要ですが、現実の臨床環境で観察される行動の多様性を捉えることができません。
• 既存のデータセットは、現実の臨床環境で観察される行動の多様性と複雑さを捉えることができないことがよくあります。

研究 の 目的:

• 自動化された自己危害防止システムをトレーニングおよび評価するための新しいデータセットを導入すること。
• シミュレートされた患者の行動と現実世界の患者の行動の両方で最先端のアクション認識モデルをベンチマークすること。
• シミュレートされたデータと現実世界のデータの間のパフォーマンスギャップを分析し、限界を特定すること。

主な方法:

• 1120のシミュレートされた切断ビデオと118の実世界のビデオ（つまむ、引っ掻くなどを含む）からなる新しいデータセットが作成されました。
• 畳み込みベースおよびトランスフォーマーベースの行動認識モデルの包括的なベンチマークが実行されました。
• パフォーマンス評価では、シミュレートされたデータに対して7分割のLeave-One-Out-Across-Subjects（LOAO）クロスバリデーションが使用され、実世界のデータに対して直接テストが行われました。

主要な成果:

• トップモデルであるVideoMAEv2は、シミュレートされたデータで0.65のF1スコアを達成しましたが、実世界のデータでは0.61に低下し、重大な「シムツーリアル」ギャップを示しています。
• モデルは、本物の設定での多様で隠された行動と比較して、シミュレートされたアクションの均一な性質のために一般化に苦労しました。
• 定性分析により、モデルの一般化における特定の失敗点が明らかになりました。

結論:

• 現在の行動認識モデルは、シミュレートされた患者の自己危害行動から現実世界の行動への一般化に限界を示しています。
• 開発されたデータセットとベンチマークは、この重要な分野における将来の研究の基盤を提供します。
• 患者の安全技術を強化するためには、より多様なデータセットと高度なAIアプローチが緊急に必要とされています。