在机器人辅助干预的腹腔镜视频序列中绘制外科闭塞
S M Kamrul Hasan1,2, Richard A Simon1,3, Cristian A Linte1,2,3
1Rochester Institute of Technology, Biomedical Modeling, Visualization, and Image-guided Navigation (BiMVisIGN) Lab, Rochester, New York, United States.
Journal of medical imaging (Bellingham, Wash.)
|August 31, 2023
概括
这项研究引入了一种新的深度学习方法,使用U-NetPlus在机器人手术视频中进行手术工具细分和删除. 该方法有效地去除仪器,揭示隐藏的组织并改善外科视觉.
科学领域:
- 医学技术 医学技术 医学技术
- 计算机视觉 计算机视觉 计算机视觉
- 手术机器人手术机器人手术机器人手术机器人
背景情况:
- 机器人辅助手术提供了进步,但在跟踪手术工具方面面临着挑战.
- 准确检测和识别手术仪器对于防止组织损伤至关重要.
- 基于深度学习的语义细分有助于分析手术视频.
研究的目的:
- 开发一种应用程序,使用图像分割从腹腔镜/内镜视频中移除手术仪器.
- 通过消除阻塞仪器来改善手术可视化.
- 为了降低因仪器可见度有限而引起的组织损伤并发症的风险.
主要方法:
- 采用修改后的U-Net架构 (U-NetPlus) 与重新设计的解码器和用于手术仪器分割的VGG编码器.
- 使用近邻插值进行上方采样,以消除从转换卷积中得到的工件.
- 实现了快速数据增强技术和基于细分面具的工具删除数字化涂装算法.
主要成果:
- 在MICCAI 2017 EndoVis挑战数据集中获得了高的DICE分数:二进制细分为90.20%,仪器部分细分为76.26%,仪器类型细分为46.07%.
- 在相同的数据集上表现优于以前的技术.
- 通过移动的外科工具,成功地展示了从视频中移除人工工具.
结论:
- 开发的应用程序有效地细分和删除手术工具,揭示以前隐藏的背景组织.
- 结果在视觉上与实际的手术数据可比.
- 增强手术场景的理解,并可能降低手术风险.
