基于CNN的人类行动识别中的多层次特征融合:关于EfficientNet-B7的案例研究
Pitiwat Lueangwitchajaroen1, Sitapa Watcharapinchai1, Worawit Tepsan2
1National Electronic and Computer Technology Center, National Science and Technology Development Agency, Khlong Luang, Pathum Thani 12120, Thailand.
Journal of imaging
|December 27, 2024
概括
这项研究引入了一种新的多级融合方法,用于仅使用RGB识别人类行为. 该方法通过整合不同阶段的信息来显著提高准确性,优于单一模式模型.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
- 机器学习 机器学习
背景情况:
- 在医疗保健和自动驾驶等应用中,识别人类行为至关重要.
- 现有的方法通常依赖于多种数据模式和晚期融合技术.
- 在现实场景中收集各种数据类型存在挑战.
研究的目的:
- 开发一种多层次的融合方法来识别人类行为.
- 为了利用多式联通技术,仅使用RGB作为单一数据源.
- 通过结合早期,中期和后期阶段的信息来提高模型性能.
主要方法:
- 使用了来自NTU RGB+D数据集的RGB.
- 从RGB数据中提取2D骨架坐标和光学流程框架,使用预训练模型.
- 实施了多层次的融合战略,将不同阶段的信息结合起来.
主要成果:
- 在NTU RGB+D 60数据集上实现了91.5%的准确性.
- 与单一模式和单一视图模型相比,显示了显著的改进.
- 拟议的方法显示了与最先进的方法可比的性能.
结论:
- 从RGB中提取的特征的多层融合对于人类行动识别是有效的.
- 该方法通过依赖单一数据源提供了一个实际的解决方案.
- 这种方法为现有技术提供了强大而高效的替代方案.
