使用CNN-变压器混合网络的视图独立步行事件检测
Ankhzaya Jamsrandorj1, Dawoon Jung2, Konki Sravan Kumar2
1Department of Human Computer Interface & Robotics Engineering, KIST School, University of Science & Technology, Seoul, Republic of Korea; Center for Artificial Intelligence, Korea Institute of Science and Technology, Seoul, Republic of Korea.
Journal of biomedical informatics
|October 14, 2023
概括
新的CNN-Transformer深度学习模型使用简单的基于视觉的方法准确地检测步态. 这种方法是视图独立的,在临床和家庭环境中进行健康监测的步态分析.
科学领域:
- 生物医学工程 生物医学工程
- 计算机视觉 计算机视觉
- 机器学习 机器学习
背景情况:
- 准确的步态检测对于提取健康信息至关重要.
- 基于视觉的步态分析为基于传感器的方法提供了替代方案,但在特征工程和视觉依赖方面面临挑战.
- 现有的方法通常需要复杂的特征提取,并且仅限于特定的观点.
研究的目的:
- 开发一种简单的,视图独立的,准确的基于视觉的方法用于步态检测.
- 为了克服传统的特征工程和横向视图依赖于步态分析的局限性.
主要方法:
- 深度学习网络,包括2D卷积神经网络和基于注意力的网络,使用22名参与者执行六种不同的步态的视频进行训练.
- 四个网络的表现在标准步态和特殊步态上都得到了评估,使用了像F1分数这样的指标.
- 美国有线电视新闻网 (CNN-Transformer) 网络被专门调查其有效性.
主要成果:
- 所有受过训练的网络都表现出了对各种步态的显著检测性能.
- 美国有线电视新闻网 (CNN-Transformer) 网络在标准步态和特殊步态上都表现出卓越的表现.
- 该模型对动作速度和视角变化的灵敏度最小.
结论:
- 美国有线电视新闻网 (CNN-Transformer) 网络为步态检测提供了一个高度准确和视图独立的解决方案.
- 这种基于视觉的方法简化了步态分析,为远程和临床健康监测的更广泛应用铺平了道路.
- 这些发现支持将高级深度学习纳入可访问的基于步态的健康评估.
