统一的大脑MR-超声合成使用多模态层次表示

科学领域:

• 医学成像医学成像
• 深度学习是一种深度学习.
• 计算机视觉 计算机视觉 计算机视觉

背景情况:

• 合成缺失的医学图像对于诊断和治疗规划至关重要.
• 现有的多模式变异自动编码器 (VAE) 难以处理不完整的数据集和图像融合.
• 从超声波和MRI等多种模式生成高保真图像是一个重大挑战.

研究的目的:

• 介绍MHVAE,一个分层的VAE,用于从不完整的多模式数据集中合成缺失的图像.
• 开发一种概率融合方法,将来自不同成像模式的信息结合起来.
• 通过对抗式学习来提高图像的清晰度.

主要方法:

• 开发了一种具有概率融合机制的深层次变异自编码器 (MHVAE).
• 集成对抗式学习来提高合成图像的质量和清晰度.
• 评估了联合手术内超声波 (iUS) 和磁共振 (MR) 图像合成模型.

主要成果:

• MHVAE显著超过了现有的多式联运VAE,有条件的GAN和最先进的ResViT模型.
• 层次的潜在结构和概率的融合使得从不完整的集合中缺少的图像的优质合成成为可能.
• 与基线方法相比,合成图像显示了提高的清晰度和精度.

结论:

• MHVAE提供了一种强大而灵活的方法,用于多模式的医疗图像合成,特别是不完整的数据.
• 在复杂的成像任务中,层次性的潜伏表示和原则融合是关键优势.
• 公共可用的代码有助于进一步研究和应用这种先进的深度学习技术.