神经内镜的交互式外科训练:使用自然语言表达式实时定位解剖特征

科学领域:

• 医疗教育 技术 技术 医学教育
• 计算机视觉在外科手术中的应用
• 神经外科培训课程 神经外科培训

背景情况:

• 外科教育,特别是神经内镜学,面临着平衡工作流程优化与实习生参与的挑战.
• 当前的培训方法可能无法充分利用复杂程序中的交互式学习机会.

研究的目的:

• 利用图像和语言数据开发和评估用于神经内镜中精确解剖结构识别的框架.
• 增强交互式学习体验,支持在神经内镜学中培训员技能发展.

主要方法:

• 使用基于变压器的编码器-解码器架构进行多模式输入处理 (图像和语言).
• 策划了记录的内镜第三心室断层切除 (ETV) 程序的数据集,用于培训和评估.
• 使用R@n,IoU=θ,mIoU和top-1准确度等指标进行基准测试.

主要成果:

• 在未见的数据上实现了93.67%的准确性和76.08%的平均交叉点在欧盟 (mIoU),超过了现有方法.
• 与其他方法相比,演示了优越的计算速度.
• 定性结果证实了解剖特征的精确定位.

结论:

• 该框架通过语言描述有效地定位解剖特征,这对于交互式临床学习系统非常有价值.
• 这项技术有可能显著提高神经内镜外科培训,从而提高学员技能和患者的治疗结果.