基于骨架的摄入手势检测与时空图形卷积网络
概括
这项研究介绍了一种基于骨架的ST-GCN-BiLSTM模型,用于自动检测食物摄入手势. 这种方法提供了隐私的好处,并在不同的饮食监测数据集中展示了强大的性能.
科学领域:
- 计算机视觉 计算机视觉
- 人与计算机的交互
- 生物医学工程 生物医学工程
背景情况:
- 肥胖和超重是与不良饮食习惯相关的重大健康问题.
- 自动化食物摄入手势检测可以改善日常生活中的饮食监测.
- 基于骨架的方法为手势识别提供了隐私和稳定性.
研究的目的:
- 开发和验证基于骨架的方法,用于自动化食物摄入手势检测.
- 在多个数据集上评估拟议的ST-GCN-BiLSTM模型的性能.
- 评估系统作为营养分析的自动注释工具的潜力.
主要方法:
- 开发了一种基于骨架的方法,将扩展的时空图卷积网络 (ST-GCN) 与双向长期短期记忆 (BiLSTM) 框架相结合.
- 这个名为ST-GCN-BiLSTM的模型使用OREBA数据集 (实验室视频) 和自行收集的智能手机数据集进行了训练和验证.
- 使用分段F1评分来评估饮食和饮食手势检测的表现.
主要成果:
- 在OREBA数据集上,ST-GCN-BiLSTM模型获得了高F1分数:食用86.18%和饮用手势74.84%.
- 交叉数据集验证显示了自我收集数据集的强大表现:饮食手势的85.40%和饮酒手势的67.80%.
- 结果证实了骨架数据在各种条件下用于摄入手势检测的可行性和稳定性.
结论:
- 基于骨的摄入手势检测对于饮食监测是可行的和有效的.
- 拟议的ST-GCN-BiLSTM模型显示了数据集的稳定性和通用性.
- 这个系统可以作为一个有价值的自动化工具营养专家来分析饮食行为.
