通过深度学习检测和干部,四肢和骨特征的融合进行先进的基于摄像头的脊椎病查

科学领域:

• 生物医学工程 生物医学工程
• 计算机视觉 计算机视觉
• 整形外科 整形外科 整形外科

背景情况:

• 脊椎病显著影响生活质量,需要有效的早期查 (SS) 和干预.
• 目前的SS方法往往涉及身体接触,脱衣或辐射,造成局限性.
• 需要非侵入性,保护隐私和可访问的脊椎病查解决方案.

研究的目的:

• 通过使用单眼RGB摄像头引入一种创新的,非侵入性的脊柱体查 (SS) 方法.
• 开发一种消除脱衣,传感器安装和辐射暴露的系统.
• 提高早期发现脊椎形的精度和效率.

主要方法:

• 利用参数化人类3D重建 (PH3DR) 进行3D人类模型生成,克服服装障碍.
• 集成了一个增强的ISANet细分网络和一个拟议的多尺度融合注意力 (MSFA) 模块,用于细分人类干部和四肢特征 (HTLF).
• 采用Swin变压器增强的CMU-Pose来提取人类骨特征 (HSF),以及结合HTLF和HSF的融合模型来提高SS精度.

主要成果:

• PH3DR和MSFA显著改善了HTLF的细分和提取.
• 基于ST的CMU-Pose大大提高了HSF的提取.
• 最终的模型实现了与最好的基线相比的F1得分 (0.895±0.014),参数和FLOP显著减少,达到36FPS,而基线为10FPS.
• 该模型在准确性方面超过了两个脊柱外科医生.

结论:

• 开发的非侵入性系统使用先进的计算机视觉技术有效地选脊椎病.
• 该方法为早期脊柱体查和监测提供了一个患者友好,保护隐私和高效的解决方案.
• 这项技术有可能显著提升早期发现和治疗脊柱病的潜力.