在患有自闭症相关行为儿童中基于视觉的活动识别

科学领域:

• 计算机视觉 计算机视觉
• 机器学习 机器学习
• 医疗保健技术 技术 医疗保健 技术

背景情况:

• 自闭症谱系障碍 (ASD) 诊断依赖于行为观察,这是耗时的,需要稀缺的专家专业知识.
• 深度学习和非接触式传感器为医疗保健中复杂的人类行为的自动分析提供了潜力.
• 现有的自闭症诊断方法面临挑战,因为需要长期观察和专家的可用性有限.

研究的目的:

• 开发和评估基于区域的计算机视觉系统,用于分析儿童的行为,以帮助诊断自闭症谱系障碍 (ASD).
• 增强在不受控制的环境中捕捉的视频数据集,以培训和测试与自闭症相关的动作识别模型.
• 提出轻量级和传统的深度学习模型,以有效地分类与自闭症有关的行为.

主要方法:

• 利用来自不受控制环境的儿童视频的预处理数据集,专注于儿童检测以尽量减少背景噪音.
• 采用时间卷积模型,包括膨胀3D Convnet和多阶段时间卷积网络,用于动作特征提取和分类.
• 开发了一种使用ESNet骨干的轻量级解决方案,用于嵌入式系统的潜在部署.

主要成果:

• 拟议的模型实现了0.83的加权F1得分,用于使用膨胀的3DConvnet和多阶段的时间卷积网络来分类三个与自闭症相关的行为.
• 一个基于ESNet的轻量级模型获得了0.71的竞争性加权F1得分,证明了嵌入式系统的潜力.
• 实验结果证实了模型在不受控制的环境中从视频中识别自闭症相关行为的能力.

结论:

• 开发的计算机视觉系统有效地从未控制的环境中捕捉的视频中识别出与自闭症相关的行为.
• 拟议的深度学习模型可以帮助临床医生和家长分析儿童行为以评估ASD.
• 这种轻量级的模型为实时分析和在资源有限的设备上部署提供了可行的解决方案.