使用YOLO和生成对抗网络进行最小侵入性机器人手术的手术仪器部件的阻塞弹性实例细分

科学领域:

• 医疗机器人 医疗机器人
• 计算机视觉 计算机视觉
• 图像细分 图像细分

背景情况:

• 准确的手术仪器细分对于安全和精确的微创手术机器人手术至关重要.
• 现实世界中的手术场景带来了诸如闭塞,重叠的仪器和视觉噪音等挑战,阻碍了传统模型.

研究的目的:

• 开发一个先进的框架,SurgSeg-GAN,用于强大的手术仪器细分.
• 在复杂的外科环境中提高细分的准确性和可靠性.

主要方法:

• 提出了SurgSeg-GAN,这是一个混合实例细分框架,将微调的YOLOv11模型与生成对抗网络 (GAN) 结合起来.
• 该GAN组件旨在生成封闭口罩并恢复缺失的仪表功能.
• 验证了EndoVis 2017和EndoVis 2018手术仪器细分数据集的框架.

主要成果:

• 在2017年EndoVis数据集中,SurgSeg-GAN实现了77%的平均跨欧盟交叉点 (mIoU) 和90%的Dice系数.
• 在EndoVis 2018数据集中,该框架达到71%的mIoU和87%的Dice系数.
• 超过了几种最先进的实例细分方法,证明了增强的稳定性和通用性.

结论:

• 在具有挑战性的条件下,SurgSeg-GAN显著提高了手术仪器细分精度.
• 封闭感知GAN的集成使部分可见仪器的功能恢复成为可能.
• 该框架有助于在机器人辅助手术中提供更安全,更可靠的实时指导.