使用结构光投射,神经表面和电磁定位传感器获得对齐的内镜和深度图像对

科学领域:

• 医疗成像医学成像
• 计算机视觉 计算机视觉
• 机器人技术 机器人技术 机器人技术

背景情况:

• 最少侵入性内镜手术越来越需要3D数据,以提高诊断和手术的准确性.
• 现有的3D内镜系统,特别是那些使用结构光 (SL) 投影的系统,面临诸如模式干扰和不准确的姿势估计等挑战.
• 删除投射图案对于获得干净的纹理图像至关重要,这对于医学诊断至关重要.

研究的目的:

• 开发一种先进的3D内镜方法,解决当前基于SL的系统的局限性.
• 将神经签名距离场 (神经SDF) 与SL投影集成,以便进行可靠的3D重建.
• 为了实现精确的3D形状测量和在内镜成像中去除模式.

主要方法:

• 使用电磁传感器进行摄像头姿势估计,以准确初始化.
• 通过SL投影进行3D形状测量,与神经隐性表面表示集成.
• 多形状集成和从内镜图像中删除模式,使用一个pix2pix模型.
• 在模拟的神经表面模型中优化相机姿势,投影仪姿势和表面几何.

主要成果:

• 通过电磁跟踪实现了准确的初始摄像头姿势,提高了优化稳定性.
• 成功集成使用神经SDF进行详细的3D重建的多形状数据.
• 证明有效地去除SL投影模式,产生清洁的纹理图像.
• 生成内镜图像的配对序列和相应的深度图.

结论:

• 拟议的基于神经SDF的3D内镜方法克服了SL投影的关键挑战,包括模式干扰和姿势估计失败.
• 这种方法可以实现高质量的3D重建和清洁纹理图像生成,这对于推进医学诊断和外科指导至关重要.
• 电磁跟踪和神经隐性表示的整合为实际的3D内镜提供了一个强大的解决方案.