M$^{3}$-DEGREES 净:单眼导向的米度行进深度估计与基于图形的相关性合集用于内膜外科手术

科学领域:

• 医疗机器人 医疗机器人
• 计算机视觉 计算机视觉
• 手术导航 手术导航

背景情况:

• 机器人内光外科手术需要准确的深度感知来进行胃肠道干预.
• 目前基于单眼相机的深度估计方法往往缺乏精度或依赖外部传感器.
• 有效的视觉导航对于改善手术治疗至关重要.

研究的目的:

• 开发一种新的单眼视觉引导网络,用于精确的度量深度估计在机器人内膜外科手术.
• 改善外科医生在胃肠道干预期间的视觉导航能力.
• 解决现有的深度估计方法在准确性和依赖外部硬件方面的局限性.

主要方法:

• 推出了M3-Degrees Net,这是一个基于图形学习的网络,用于衡量行进深度 (MD) 估计.
• 利用生成模型进行初始无尺度深度地图生成.
• 采用关系图卷积网络与多模态视觉知识融合,以优化MD预测.
• 集成的自我运动校正和多层回归网络,以提高准确性和细节性.

主要成果:

• 实现了总体的度量行进深度误差低于27.3%,明显优于现有方法.
• 在公共和内部数据集上表现出令人满意的表现,包括具有挑战性的临床胃肠内镜数据.
• 在具有不同反射的环境中经过验证的强度,例如腔体粘液.

结论:

• M3-Degrees Net为机器人内膜外科手术中精确的单眼深度估计提供了一个有前途的解决方案.
• 该网络增强了视觉导航,并且在胃肠道干预方面具有重要的临床潜力.
• 提出的方法克服了当前方法的局限性,提高了外科手术的精度和安全性.