可普及的立体声深度估计与掩面图像建模
Samyakh Tukra1,2, Haozheng Xu1, Chi Xu1
1Hamlyn Centre of Robotic Surgery, Department of Surgery and Cancer Imperial College London London UK.
Healthcare technology letters
|April 19, 2024
概括
这项研究引入了一种新的两相训练,用于立体声深度估计,提高3D重建的准确性. 该方法实现了最先进的结果,不需要手术数据进行培训.
科学领域:
- 计算机视觉 计算机视觉
- 医疗成像医学成像
- 3D重建的3D重建
背景情况:
- 准确的立体声深度估计对于3D重建至关重要,特别是在外科应用中.
- 监督的方法优越,但在有限的外科实地数据中扎,阻碍了概括性.
- 自主监督的方法缺乏基本真理,但面临规模模两可和光度不一致.
研究的目的:
- 为3D重建开发一种可通用和高性能立体声深度估计方法.
- 克服手术和自然场景中现有的监督和自我监督方法的局限性.
- 在没有直接训练目标场景数据的情况下,实现最先进的准确性.
主要方法:
- 这是一个两阶段的培训程序,它结合了自我监督的蒙面图像建模 (MIM) 和监督学习.
- 第一个阶段:使用MIM获得可概括的语义立体特征的自我监督的表示学习.
- 第二阶段:使用MIM预训练模型对合成数据进行监督学习,结合感知损失来增强立体表示.
主要成果:
- 拟议的方法在手术场景中达到毫米以下的精度,在自然场景中达到最小的误差.
- 在立体声深度估计方面展示了最先进的性能.
- 定性和定量评估证实了该方法的有效性和通用性.
结论:
- 两阶段的培训策略有效地弥合了自主监督和监督学习之间的差距.
- 该方法实现了高精度和通用性,而不需要直接训练特定场景数据,如手术或自然图像.
- 这种方法为在机器人手术等要求高的应用中对立体深度估计设定了新的基准.
