深度对RGB:使用深度摄像头自动评估开放手术技巧
Ido Zuckerman1, Nicole Werner2, Jonathan Kouchly3
1Faculty of Data and Decision Sciences, Technion - Israel Institute of Technology, Haifa, 3200003, Israel. ido.z@campus.technion.ac.il.
概括
深度摄像机为评估开放手术技能的可靠和私人替代品,实现与传统RGB摄像机相似的结果. 这项技术准确地捕捉了专家和新手外科医生之间的差异,增强了外科训练.
科学领域:
- 医疗技术 医疗技术 医学技术
- 手术模拟器手术模拟器
- 计算机视觉 计算机视觉
背景情况:
- 开放式手术技能的自动评估通常使用RGB摄像头.
- 深度摄像机具有潜在的优势,包括照明强度,隐私和数据效率.
研究的目的:
- 评估深度摄像头作为RGB摄像头的替代品,用于自动开放外科手术技能评估.
- 为了证明深度摄像机在物体检测和动作细分方面的可比性能.
主要方法:
- 采用YOLOv8用于工具检测和UVAST/MSTCN++用于RGB和深度视频上的动作细分.
- 使用Azure Kinect收集和注释数据集,专注于接模拟器中的手和工具交互.
- 专家和新手外科医生在合任务中的性能比较.
主要成果:
- 深度摄像头在物体检测和动作细分方面取得了与RGB摄像头相似的结果.
- 对3D手部路径长度的分析显示,专家外科医生和初学者外科医生之间存在显著差异.
- 研究了摄像机角度的影响,突出了3D摄像机在代表手动的准确性.
结论:
- 深度摄像机提供了一种可靠且保护隐私的手术技能评估方法.
- 这些发现支持在外科培训和评估中使用深度摄像头.
- 这项研究为未来在自动化手术技巧分析方面的进展奠定了基础.


