在腹腔镜胆囊切除视频中自动化手术仪器识别:一种新的两步深度学习方法,使用虚拟图像合成

科学领域:

• 医疗成像医学成像
• 计算机视觉 计算机视觉
• 手术技术 手术技术

背景情况:

• 精确识别手术仪器对于优化手术程序和防止保留的手术器件至关重要.
• 为手术仪器检测生成地面真实数据是劳动密集型的.
• 开发了一个使用虚拟图像创建的新系统来应对这些挑战.

研究的目的:

• 开发和评估一种用于在腹腔镜胆囊切除术期间检测腹腔镜外科器械的新系统.
• 通过合成图像生成克服劳动密集型地面真相数据创建的障碍.
• 提高手术仪器识别在微创手术中的准确性和效率.

主要方法:

• 通过合成仪器照片与手术视频背景来创建虚拟图像.
• 应用了数据增强技术来创建一个大型复合数据集 (6023张图像).
• 开发了一个两步的深度学习模型:仪器本地化,然后是仪器类型分类.

主要成果:

• 仪器定位模型在内部 (0.981),外部 (0.882) 和公共 (0.689) 数据集中实现了高平均精度 (AP).
• 仪器类型分类模型显示曲线下面积 (AUC) 值很强 (外部数据集为0.959,公共数据集为0.749).
• 与传统方法相比,最终的两步模型显示出更高的性能 (AUC 0.848外部,0.688公共).

结论:

• 使用合成生成数据的验证深度学习模型为手术仪器检测提供了可靠的框架.
• 该方法表现出强大的性能和可通用性,适用于现实世界的应用.
• 这项技术有可能提高操作工作流程的效率和在最小侵入性手术中进行外科教育.