STANet:一种基于时空融合的外科手势识别方法
Boqiang Jia1,2, Wenjie Wang1,2, Xin Tian1,2
1School of Electronics and Information, Xi'an Polytechnic University, Xi'an, Shaanxi, China.
Annals of the New York Academy of Sciences
|September 24, 2025
概括
这项研究引入了一种用于手术手势识别的新型时空自适应网络 (STANet). STANet有效地融合了空间和时间特征,大大改善了机器人手术中复杂的外科手术行为的建模.
科学领域:
- 机器人技术 机器人技术 机器人技术
- 计算机视觉 计算机视觉
- 人工智能的人工智能
背景情况:
- 手术手势识别对于评估手术质量和在机器人手术中提供智能辅助至关重要.
- 当前的深度学习模型往往难以有效地融合空间和时间特征,限制它们捕捉动作序列中的长期依赖的能力.
研究的目的:
- 提出一个新的时空适应网络 (STANet),用于增强手术手势识别.
- 为了有效地融合空间和时间特征,以改进外科手术行动序列的建模.
主要方法:
- 为特征提取设计了独立的时间和空间模块.
- 融合了提取的特征,并使用时间自适应卷积进行完整的时间建模来改进它们.
- 将组合的模块集成到一个骨干网络中,创建STANet.
主要成果:
- 在JIGSAWS和RARP-45手术手势数据集上验证了STANet.
- 与现有的基准模型相比,实现了优越的性能.
- 证明了手术手势的长期和短期特征的有效整合.
结论:
- 通过有效地融合时空特征,STANet提供了一种有效的方法来建模外科手术动作序列.
- 拟议的方法显示了在手术机器人,视觉反系统和计算机辅助手术中应用的巨大潜力.
更多相关视频
08:15Capturing Dynamic Finger Gesturing with High-resolution Surface Electromyography and Computer Vision
Published on: March 28, 2025
1.2K
10:25Technical Approach for Infrared Tracking for Soft Tissue Navigation with a Holographic Head-Mounted Display and Preclinical Validation
Published on: September 2, 2025
489
