養育者と乳児の相互作用中の行動分類にTransformerベースの機械学習モデルを適用する

科学分野:

• 発達心理学
• 人工知能
• 行動科学

背景:

• 養育者と乳児の相互作用の手動コーディングは時間がかかり、バイアスが生じやすいです。
• マルチモーダル相互作用は乳児の発達に大きな影響を与えます。
• 自動分析は、客観的で効率的な行動評価の可能性を提供します。

研究 の 目的:

• 養育者と乳児の行動の自動検出のためのマルチモーダル機械学習モデルを開発および評価すること。
• 見慣れないダイアドやコンテキストに対するモデルの一般化能力を評価すること。
• 複雑な行動データにAIを適用する際の課題を特定すること。

主な方法:

• AIモデルを使用して、オーディオ、ビデオ、ポーズの特徴を抽出しました。
• 時間的パターンの学習にTransformerベースのアーキテクチャを利用しました。
• 見慣れた養育者と乳児のダイアドと完全に未知のダイアドでモデルのパフォーマンスをテストしました。

主要な成果:

• すべてのダイアドのデータがトレーニングとテストに含まれていた場合、精度は98%を超えました。
• 完全に未知のダイアドでテストした場合、パフォーマンスは約55%に低下しました。
• 学習された行動ではなく、ダイアド固有の特徴に依存していることが示唆されました。

結論:

• 現在のTransformerベースのモデルは、複雑なマルチモーダル行動データに対して重大な一般化可能性の課題に直面しています。
• この研究は、行動分析のためのAIモデルの改善の基盤を提供します。
• 将来の研究では、多様なコンテキストにわたるモデルの堅牢性と適用性を向上させることに焦点を当てるべきです。