通过使用3D姿势估计来提高开放手术的手势识别
Ori Meiraz1, Shlomi Laufer2, Robert Spector2
1Faculty of Data and Decision Sciences, Technion - Israel Institute of Technology, Technion City, 32000, Haifa, Israel. ori.meiraz@campus.technion.ac.il.
International journal of computer assisted radiology and surgery
|January 14, 2026
概括
这项研究使用多式联络数据增强了手术手势识别,结合视频,手和工具姿势进行开放式手术. 只有姿势的模型提供了一种保护隐私的替代方案,其准确性与基于视频的方法相提并论.
科学领域:
- 医疗机器人 医疗机器人
- 计算机视觉 计算机视觉
- 手术数据科学手术数据科学
背景情况:
- 手术手势识别对于分析手术程序至关重要.
- 现有的方法通常使用模拟或最小侵入性数据,不反映开放手术的复杂性.
- 开放式手术数据集有限,阻碍了手势识别的进展.
研究的目的:
- 引入和利用一个新的开放手术数据集用于手势识别.
- 通过整合工具和手的姿势估计来提高外科手势识别的准确性.
- 评估多式联络方法,以提高在开放外科手术环境中的性能.
主要方法:
- 开发了一个新的开放式手术数据集,用于收获白色静脉切口关闭.
- 使用的MS-TCN++和LTContext模型用于手势识别.
- 使用了一组组合视频,工具姿势和手姿势数据的模型.
主要成果:
- 整体模型整合所有三种模式显著优于仅视频的方法.
- 仅依靠手和工具姿势的模型实现了与基于视频的方法可比的性能.
- 仅使用Pose的模型显示了统计学上显著的结果或与仅使用视频的方法可比的结果.
结论:
- 整合多模式数据 (视频,手姿势,工具姿势) 可以提高手术手势识别的准确性和稳定性.
- 只有姿势模型为手术数据分析提供了一个可行的,保护隐私的替代方案.
- 这项研究推进了对开放外科手术程序的自动化分析.
