使用深度学习增强自由手的3D光声学和超声波重建

科学领域:

• 医疗成像医学成像
• 生物医学工程 生物医学工程
• 计算机视觉 计算机视觉

背景情况:

• 手持式光声学和超声波 (PAUS) 成像在3D重建方面面临局限性,原因是视野狭窄和运动估计挑战.
• 从连续的2D图像进行准确的3D重建至关重要,但在没有外部定位传感器的情况下很困难.

研究的目的:

• 介绍MoGLo-Net,一个基于运动的学习网络,具有全球本地自我注意力,用于PAUS成像中增强的3D重建.
• 改进运动参数估计,以便准确的3D自由手超声波重建.

主要方法:

• 开发了MoGLo-Net,使用全球本地自我注意模块来利用运动估计的关键图像区域.
• 采用补丁智能相关性来生成运动相关的体积和定制损失函数来进行强大的学习.
• 将网络应用于B模式,多普勒超声波和光声学成像以进行3D重建.

主要成果:

• 与最先进的方法相比,MoGLo-Net表现出优越的定量和质量性能.
• 通过多普勒超声波和光声学成像成功启用了血管系统的3D可视化.
• 实现了精确的运动估计,这对于无需外部传感器的自由手3D重建至关重要.

结论:

• MoGLo-Net显著提升了PAUS成像中的3D重建能力.
• 该方法为复杂的3D结构可视化和血管成像提供了强大的解决方案.
• 公共可用的代码有助于该领域的进一步研究和开发.