基于自我监督的神经网络的内镜单眼3D重建方法
Ziming Zhang1,2, Wenjun Tan1,2, Yuhang Sun1,2
1Key Laboratory of Intelligent Computing in Medical Image, Ministry of Education, Northeastern University, Shenyang, 110189 China.
Health information science and systems
|December 14, 2023
概括
这项研究引入了一种新的自我监督深度学习框架,用于单眼内镜3D重建. 该方法通过解决亮度不一致性和场景复杂性,以改善外科视觉化,在复杂的临床环境中提高准确性.
科学领域:
- 医疗成像医学成像
- 计算机视觉 计算机视觉
- 深度学习 (Deep Learning) 是一种深度学习.
背景情况:
- 使用深度学习的单眼视觉3D重建已在传统领域建立.
- 自主监督的深度学习对于医疗内镜成像至关重要,因为数据采集的挑战.
- 现有的内镜3D重建研究主要是基于实验室的,缺乏临床环境适应性.
研究的目的:
- 为复杂的临床外科环境开发一个强大的单眼内镜3D重建框架.
- 为了提高从内镜视频数据3D重建的准确性和可靠性.
- 为了应对临床内镜成像中不一致的亮度和复杂的场景细节等挑战.
主要方法:
- 使用基于光流的神经网络来管理对的亮度变化.
- 集成了注意力模块,以加强对像素纹理和深度差异的关注.
- 层间损失被用于重建网络内的多层监督.
主要成果:
- 建立了一个完整的单眼内镜3D重建框架,并在临床数据集上进行验证.
- 与其他自我监督方法相比,拟议的框架在内镜运动期间展示了框架映射的优异模拟.
- 使用交叉相关系数指标的定量实验证实了该框架的有效性.
结论:
- 开发的框架成功地解决了用于3D重建的临床内镜场景的复杂性.
- 该方法显示出优秀的概括能力,在外部数据集上表现良好,如SCARED.
- 这项工作为实际的临床应用推进了自我监督的内镜3D重建.
