基于视觉模式的多式融合用于手术阶段识别

科学领域:

• 医疗机器人和计算机辅助手术
• 外科手术工作流程分析
• 医疗保健中的人工智能

背景情况:

• 手术阶段识别对于优化手术工作流程和资源配置至关重要.
• 当前的方法通常依赖于有限的信息,例如仪器的存在,妨碍性能.
• 需要先进的技术来提高手术阶段识别的准确性和稳定性.

研究的目的:

• 提出一种基于视觉模式的多式融合方法,用于增强手术阶段识别.
• 引入和验证基于视觉动力学指数 (VKI),以更好地理解外科手术程序.
• 通过结合仪器相互作用动态来克服现有方法的局限性.

主要方法:

• 开发了一种多式融合方法,将视觉特征与基于视觉动力学指数 (VKI) 的视觉特征结合起来.
• 利用基于卷积神经网络 (CNN) 的融合技术来整合视觉数据和VKI.
• 从手术视频数据中提取VKI,捕捉仪器运动和相互关系.
• 在虚拟现实 (VR) 数据集 (PETRAW) 和临床远部胃切除数据集上验证了方法.

主要成果:

• 与单独基于CNN的培训相比,拟议的融合方法显著提高了手术阶段识别性能.
• 基于视觉动力学指数 (VKI) 提供了补充信息,增强了程序理解.
• 取得了有效的训练结果,超过了像变压器这样需要大量预先训练的数据的融合方法.
• 该方法在临床环境中表现出有效性,根据远端胃切除术数据集的验证.

结论:

• 基于视觉模式的多式融合,结合VKI,在手术阶段识别方面取得了重大进展.
• 该VKI有效地捕捉仪器交互动态,提高了对外科手术工作流程的理解.
• 该方法为在不同的外科环境 (包括腹腔镜手术) 中进行手术阶段识别提供了强大的和可适应的解决方案.