医疗环境中的动作识别,用于机器人辅助
Sonja Stabenow1, Lars Wagner2, Alois Knoll3
1Technical University of Munich, School of Medicine and Health, TUM University Hospital Rechts der Isar, Research Group MITI, Munich, Germany. sonja.stabenow@tum.de.
International journal of computer assisted radiology and surgery
|November 24, 2025
概括
人类动作识别能够准确地识别医务人员的交接,从而实现机器人协助. 这项研究为机器人通过识别行为和促进无集成到医疗保健工作流程来支持医疗团队铺平了道路.
科学领域:
- 机器人在医学中的机器人
- 人与计算机的交互
- 机器学习用于医疗保健
背景情况:
- 团队合作和无协作在医疗实践中至关重要.
- 整合机器人系统需要流的人机交互.
- 人类行为识别可以在没有明确输入的情况下推断状态,支持协作.
研究的目的:
- 为医疗转移开发一个人为行动识别框架.
- 通过使用移交作为隐含的线索来实现机器人协助.
- 为了方便机器人取代医疗交付中的捐赠方.
主要方法:
- 利用骨架信息和机器学习算法从连续的图像数据中推导出动作.
- 应用于操作室手术和病房护理干预的数据集的动作识别.
- 使用骨表示和时空信息的抽象运动模式.
主要成果:
- 在使用ST-GCN的OR数据集上获得0.736±0.045的F1得分.
- 在使用 SkateFormer 的沃德数据集上获得了 0.941 ± 0.009 的 F1 评分.
- 在区分快速过渡行动和特定的OR移交行动方面观察到的局限性.
结论:
- 在外科和病房设置中成功识别了移交阶段.
- 这一框架代表了将机器人协助整合到医疗交付中的基本步骤.
- 允许未来的机器人系统在医疗过程中基于隐含的线索进行交互.
