通过整合计算机视觉和虚拟手的实时康复跟踪

科学领域:

• 生物医学工程 生物医学工程
• 机器人技术 机器人技术 机器人技术
• 人与计算机的交互

背景情况:

• 康复需要长时间的监测,经常受到对面访问的需要所阻碍,这给远程患者带来了挑战.
• 目前的远程医疗解决方案缺乏准确的康复跟踪所需的精度.
• 对于监测康复进展的可访问和准确方法有很大的需求.

研究的目的:

• 为分析人类手指关节扭矩引入一个量化和可访问的框架.
• 为了提高康复监测,实现虚拟手动互动.
• 为了验证提取的关节扭矩的准确性,用于临床应用.

主要方法:

• 将MediaPipe手指地标与PyBullet中的MANO手模集成,用于虚拟手表.
• 利用提取的手部位置,旋转和关节角度作为控制器输入来镜像人类运动.
• 设计一个PID控制器,优化基因算法,用于精确的关节角度轨迹跟踪.

主要成果:

• 成功提取和分析指关节的扭矩,特别是来自手指后关节和近端关节的扭矩.
• 提取的扭矩的验证具有较低的平均平方误差: $4.346 \times 10^{-4}(~\mathrm{N}. \mathrm{m}) ^{2}$ 和 $1.506 \times 10^{-5}(~\mathrm{N}. 这两种数值的关系是什么? 它们分别为{m}) ^{2}$.
• 对量化人类关节动力学的强大框架的演示.

结论:

• 开发的框架为跟踪康复进展提供了一个非常理想的方法.
• 量化关节动力学信息可以使用外骨机器人进行准确的监测.
• 这种方法提高了远程康复护理的可访问性和准确性.