通过监督深度学习从单眼内镜图像序列进行维护尺度的形状重建
Takeshi Masuda1, Ryusuke Sagawa1, Ryo Furukawa2
1Artificial Intelligence Research Center National Institute of Advanced Industrial Science and Technology (AIST) Tsukuba Ibaraki Japan.
Healthcare technology letters
|April 19, 2024
概括
这项研究引入了一种新的方法,用于从单眼内镜图像中进行3D形状重建. 该方法训练绝对深度预测网络以保持尺寸,从而从内镜视频序列中准确地恢复3D形状.
科学领域:
- 计算机视觉 计算机视觉
- 医疗成像医学成像
- 三维重建的3D重建
背景情况:
- 从图像中重建3D形状正在获得吸引力.
- 现有的方法往往会产生具有不确定的尺度的相对深度图.
- 精确的维护尺寸的3D重建对于各种应用至关重要.
研究的目的:
- 提出一种用于从单眼内镜图像序列重建维护尺寸的3D形状的新方法.
- 开发一个绝对深度预测网络,用于准确的尺度估计.
- 在模拟和真实内镜数据上验证该方法.
主要方法:
- 使用内镜模拟器生成了一组同步RGB图像和深度图的数据集.
- 一个受监督的深度预测网络被训练来从RGB图像中估计深度地图,最大限度地减少对地面真实深度的损失.
- 预测的深度图序列被对齐以重建最终的3D形状.
主要成果:
- 经过训练的网络成功地从单眼内镜图像中估计了绝对深度图.
- 预测的深度图的对齐使得能够重建维护尺寸的3D形状.
- 拟议的方法在应用于真实内镜图像序列时显示出有效性.
结论:
- 开发的绝对深度预测网络有效地解决了基于单眼内镜的3D重建中的规模模糊性.
- 这种方法为从内镜图像中创建精确的3D模型提供了一个有前途的方法.
- 该技术在医学诊断和手术规划方面具有潜在的应用.


