DACVNet:双重注意力连锁体积网用于立体内镜3D重建

科学领域:

• 计算机视觉 计算机视觉
• 医疗成像医学成像
• 人工智能的人工智能

背景情况:

• 深度估计对于3D重建和外科导航等内镜手术至关重要.
• 立体视觉通过分析两个图像之间的差异来提供硬件独立的深度估计.
• 基于卷积神经网络 (CNN) 的方法在立体差异估计的准确性和稳定性方面表现出色.

研究的目的:

• 开发一个增强的立体差异估计模型,DACVNet,以改善内镜深度感知.
• 整合空间和特征级别的自我注意机制以提高准确性.
• 通过对内镜数据的自我监督学习来验证模型的临床适用性.

主要方法:

• 拟议的DACVNet模型将空间注意力 (来自ACVNet) 与一种新的特征维度自我注意力机制相结合.
• 对C3VD数据集上现有的立体差异模型进行比较分析.
• 自主监督训练使用来自胃幻影和内部立体内镜的定制数据集.

主要成果:

• DACVNet表现出卓越的性能,在终点错误方面,其表现比第二好的模型 (ACVNet) 优于7.08%.
• 从胃幻影数据集中对3D重建的定性验证证实了临床潜力.
• 该模型在立体声差异估计中实现了高精度和稳定性.

结论:

• 在立体内镜中,DACVNet显著提高了深度估计的准确性.
• 自主监督的方法使实时应用的临床翻译成为可能.
• 这项技术有助于在内镜手术中进行增强的3D重建和光学测量.