内镜外科手术仪器的双阶段语义细分
Wenxin Chen1, Kaifeng Wang2, Xinya Song1
1Beijing Institute of Technology, Beijing, P. R. China.
Medical physics
|September 10, 2024
概括
这项研究引入了一种双阶段的深度学习方法,用于内镜视频中精确的手术仪器细分,提高机器人辅助手术的安全性. 这种方法有效地对仪器进行细分,即使可见度有限和组织复杂.
科学领域:
- 在外科手术中使用机器人和人工智能.
- 医学成像和计算机视觉
背景情况:
- 内镜仪器细分对于机器人辅助脊柱手术的安全性至关重要.
- 挑战包括狭窄的操作场,复杂的组织和内镜视图中的有限可见性.
研究的目的:
- 开发一种在内镜视频中细分手术仪器的方法.
- 通过从连续中提取特征来实现连续和精确的仪器细分.
主要方法:
- 一种双阶段的深度学习方法,使用MobileViT进行图像分类,使用DeepLabv3+进行仪器细分.
- 整合了旗缓存机制和模糊检测模块,以增强视频细分.
主要成果:
- 图像分类模型在验证集上实现了70%的准确性.
- 细分模型显示,在常见的外科手术仪器中,整个欧盟的平均交叉点 (mIoU) 超过98%.
- 视频细分方法在真实手术视频中被证明是有效的.
结论:
- 拟议的双阶段视频处理方法在具有挑战性的内镜条件下有效执行仪器细分.
- 这一进步有助于提高机器人辅助脊柱内镜手术的智能和安全性.
