SaccpaNet:一个可分离的基于心脏卷积的级联金字塔注意力网络,用于估计身体的地标,使用跨模态知识转移来对床下睡眠姿势分类进行跨模态知识转移

科学领域:

• 计算机视觉和机器学习
• 生物医学工程 生物医学工程
• 睡眠科学 睡眠科学

背景情况:

• 标准的多睡眠学睡眠姿势评估的准确性可能会受到陌生的实验室环境的影响.
• 需要可靠的睡眠姿势监测系统,适合家庭或社区使用.

研究的目的:

• 开发基于深度摄像头的系统,用于临床环境之外的睡眠姿势监测和分类.
• 创建一个深度学习模型,SaccpaNet,能够准确地分类睡眠姿势,同时考虑毯子干扰.

主要方法:

• 开发了SaccpaNet,结合了具有金字塔式注意力结构的联合坐标估计网络 (JCE) 和睡眠姿势分类网络 (SPC).
• 使用RGB图像 (COCO全身数据集) 进行交叉模式预训练,并对150名参与者在7种睡眠姿势和4种毛毯条件下的深度图像进行训练/测试.
• 实施了数据增强技术,包括类内混合和叠加翻转切割,以提高对覆盖干扰的强度 (PhD-ART).

主要成果:

• 估计的关节坐标 (PCK@0.1) 的平均精度为0.652,证明了强大的姿势估计.
• 达到高睡眠姿势分类准确度:F1分数为0.885的7类和0.940的6类分类.
• 该系统对全局干扰表现出显著的抵抗力,其传播差异仅为2.5%.

结论:

• 开发的SaccpaNet系统在非临床环境中使用深度摄像头提供了准确而强大的睡眠姿势监测和分类.
• 该系统能够处理全方位干扰,这使得它成为对不引人注目的长期睡眠研究的有希望的工具.
• 这项技术可以促进更自然的睡眠评估,潜在地提高对睡眠相关行为和条件的理解.