一个模块化的机器学习工具,用于整体和细粒度的行为分析

科学领域:

• 计算机视觉和机器学习
• 行为科学 行为科学
• 人与计算机的交互

背景情况:

• 现有的人工智能工具缺乏从视频中整体,细粒度的人类行为分析.
• 需要可访问的工具来分析复杂的行为数据.

研究的目的:

• 开发和验证一种新的机器学习工具,用于从视频数据中进行全面的行为分析.
• 评估工具在各种环境条件和情绪刺激中区分行为的能力.

主要方法:

• 一种两级机器学习方法,将计算机视觉 (OpenPose,OpenFace) 结合起来用于特征提取和算法 (XGBoost,LSTM) 进行分类.
• 拍摄了16名参与者在6种条件下,不同于人的存在,声音和情绪刺激 (自我参考与控制).
• 利用可解释性来识别驱动分类结果的关键行为特征.

主要成果:

• 人的存在与声音/沉默的高分类率 (AUC=0.8-0.9),其中行动单位和目光被确定为关键特征.
• 适度的分类率 (AUC=0.7-0.8) 对于声音与静音和自我参考与控制条件,与特定的面部和身体点数据相关.
• 结果与传统的假设驱动方法一致,验证了该工具的有效性.

结论:

• 开发的AI工具提供了有效的整体和细粒度的视频行为分析.
• 该工具的模块化允许扩展到更复杂,自然主义的行为研究环境.
• 这种方法为通过可访问的人工智能推进行为科学研究提供了一个有希望的途径.