基于视频的人类活动识别使用深度学习方法
Guilherme Augusto Silva Surek1, Laio Oriel Seman2, Stefano Frizzo Stefenon3,4
1Industrial and Systems Engineering Graduate Program (PPGEPS), Pontifical Catholic University of Parana (PUCPR), Curitiba 80215-901, Brazil.
Sensors (Basel, Switzerland)
|July 29, 2023
概括
这项研究使用视觉转换器 (ViT) 和残余网络 (ResNet) 等深度学习模型来增强人类活动识别,并进行自我监督的学习. ViT架构在视频中复杂的动作识别方面显示出有希望的结果.
科学领域:
- 计算机科学 计算机科学
- 人工智能的人工智能
- 机器学习 机器学习
背景情况:
- 人类活动识别 (HAR) 对于使用传感器数据分析人类行为至关重要.
- 在具有多个交互实体的视频中识别动作需要先进的空间建模.
- 深度学习模型为动作识别任务中的视觉推理提供了强大的工具.
研究的目的:
- 通过使用深度学习,评估和绘制RGB视频中人类行动识别的当前状态.
- 评估剩余网络 (ResNet) 和视觉变压器 (ViT) 架构的性能.
- 调查半监督学习和DINO (无标签自蒸) 对HAR的影响.
主要方法:
- 通过半监督学习方法实施和评估ResNet和ViT架构.
- 使用DINO (无标签的自蒸) 来增强模型的功能.
- 在动作识别的人类运动数据库 (HMDB51) 基准上测试模型.
主要成果:
- 视觉变压器 (ViT) 架构在视频分类方面表现出有前途的性能.
- 双维ViT与长短期内存 (LSTM) 结合,在HMDB51数据集上实现了高精度.
- ViT-LSTM模型在训练阶段达到96.7 ± 0.35%的准确度,在测试阶段达到41.0 ± 0.27%.
结论:
- 深度学习模型,特别是视觉转换器,显示出复杂的人类行为识别的巨大潜力.
- 半监督学习和DINO提高了HAR模型的有效性.
- 拟议的ViT-LSTM架构为基于视频的人类行为识别提供了强大的解决方案.
