CIRF:深度学习基于多模式图像融合的结合图像重建和融合策略

科学领域:

• 医疗成像医学成像
• 人工智能的人工智能
• 计算机视觉 计算机视觉

背景情况:

• 多模体医学图像融合 (MMIF) 对于诊断至关重要,利用互补的传感器数据.
• 深度学习 (DL) 方法很普遍,但受到串行融合的影响,导致错误和规模混乱.
• 现有的DL方法缺乏特征分解,阻碍了MMIF的业绩.

研究的目的:

• 为增强的MMIF提出一种新的相结合图像重建和融合 (CIRF) 战略.
• 为了解决基于DL的MMIF中的串行融合和错误积累的局限性.
• 为了提高融合医学图像的表现力和准确性.

主要方法:

• 开发了CIRF策略,并行图像融合和重建分支.
• 使用与视觉转换器 (ViT) 和卷积神经网络 (CNN) 分支的共同编码器进行特征提取.
• 集成的多任务学习,有监督和无监督的损失,包括特征分解.

主要成果:

• 在三个数据集的主观和客观评估中,CIRF表现出了卓越的表现.
• 融合的图像表现出适当的亮度和平滑的边缘过渡.
• 与传统和其他基于DL的方法相比,CIRF实现了更具竞争力的评估指标.

结论:

• 拟议的CIRF战略通过结合并行处理,特征分解和多任务学习,有效地增强了MMIF.
• CIRF克服了串行融合的局限性,提供了更高的精度和图像质量.
• 该方法显示出强大的概括能力和临床应用的潜力.