基于视频的护理人员与儿童互动的3D分析
Zhenzhen Weng1, Laura Bravo-Sánchez2, Zeyu Wang2
1Institute for Computational & Mathematical Engineering, Stanford University, Stanford, CA, USA.
Science advances
|February 14, 2025
概括
HARMONI是一种新的3D计算机视觉和音频方法,从视频中分析护理人员和儿童的互动. 它量化了复杂的行为,为儿童发展研究提供了新的见解.
科学领域:
- 计算机视觉 计算机视觉
- 人与计算机的交互
- 发展心理学 发展心理学
背景情况:
- 分析照顾者与儿童之间的互动对于理解儿童发育至关重要.
- 手动分析观测视频耗时且范围有限.
- 现有的二维方法与自然主义人类行为的复杂性作斗争.
研究的目的:
- 介绍HARMONI,一种新的3D计算机视觉和音频处理方法.
- 能够对护理人员与儿童的行为和互动进行详细的定量分析.
- 促进人类发展研究中的大规模纵向研究.
主要方法:
- 哈尔蒙尼在次秒分辨率下估计了3D人体网格表示和空间交互.
- 针对环境的合成数据生成模块增强了适应自然环境的能力.
- 该方法整合了视觉和音频数据,用于多式联络分析.
主要成果:
- 哈蒙尼处理了500小时的SEEDLingS数据集视频,产生了前所未有的定量行为测量.
- 确定了儿童运动,姿势,双动触摸,可见性和对话转的纵向趋势.
- 揭示了多式联络趋势,例如儿童对话转向与运动之间的关联.
结论:
- 哈蒙尼显著推进了护理人员与儿童互动的定量分析.
- 这种开源的方法可节省大量的时间 (>100倍) 并与人类注释者保持高度一致.
- 哈蒙尼准备加速人类发展和相关领域的研究.
更多相关视频
10:11Portable Intermodal Preferential Looking IPL: Investigating Language Comprehension in Typically Developing Toddlers and Young Children with Autism
Published on: December 14, 2012
18.1K
08:08Author Spotlight: Capturing Infant-Caregiver Interactions Through Synchronized Multimodal Data Collection
Published on: May 31, 2024
751
