通过使用参考增强框架生成对齐图像来进行交叉模式图像注册

科学领域:

• 医疗成像医学成像
• 人工智能的人工智能
• 计算机视觉 计算机视觉

背景情况:

• 跨模态图像对齐 (例如MR-CT) 在医疗应用中至关重要,但在传统的注册或图像对图像 (I2I) 转换方面面临局限性.
• 现有的方法在保护图像细节和实现精确的结构对齐方面扎.

研究的目的:

• 引入一个新的深度学习框架",按代进行注册 (RbG)",以实现准确的跨模式图像对齐.
• 开发一种方法,可以保持参考图像的强度和对比度,同时确保结构对齐.
• 为了实现对不对齐的数据集进行自我监督的培训,消除了对预先对齐数据的需求.

主要方法:

• 一个两阶段的二维深度学习方法: 1) 半全球参考增强图像合成使用补丁自适应实例规范化 (PAdaIN) 进行初始对齐和幻觉减少.
• 2) 细节精炼网络,配有变形意识交叉注意 (DACA) 块,用于回收细节和纹理转移.
• 在错误对齐的数据集上进行自我监督训练的损失函数的新组合.

主要成果:

• 与传统方法相比,RbG在多个不对齐的数据集中在结构对齐和分布一致性方面表现出卓越的表现.
• 该方法在与模拟的故意错位对抗测试时显示出稳定性.
• 实验强调了RbG在案例研究和下游医疗图像细分任务中的广泛适用性.

结论:

• "按世代注册 (RbG) "框架在跨模式图像对齐方面取得了重大进展.
• 通过保存图像细节和实现自我监督学习,RbG有效地解决了现有方法的局限性.
• 这种方法对各种医学成像应用,包括细分显示出希望.